Séance de cours

Entropie : Théorèmes de l'entropie conditionnelle

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-102: Advanced information, computation, communication II

Text, sound, and images are examples of information sources stored in our computers and/or communicated over the Internet. How do we measure, compress, and protect the informatin they contain? ...

Description

Cette séance de cours de l'instructeur couvre les limites de l'entropie et les théorèmes conditionnels de l'entropie. Il commence par introduire le concept de l'entropie conditionnelle et ensuite se dente dans les théorèmes qui fournissent des limites sur l'entropie conditionnelle d'une variable aléatoire discrète X donnée Y. À travers des exemples comme le 'Bit Flipper Channel' et 'Lisa Rolls Two Dice', la séance de cours illustre comment vérifier et appliquer ces limites entropie. La règle de chaîne pour l'entropie est également expliquée, montrant comment l'entropie articulaire de plusieurs variables aléatoires peut être calculée. La séance de cours se termine par une explication détaillée de la règle de la chaîne pour les entropies, démontrant comment l'incertitude d'une collection de variables aléatoires peut être décomposée en incertitudes individuelles.

Enseignant·e·s (2)

Bixio Rimoldi

Enseignement et PhD A dirigé les thèses EPFL de Nicolae Chiurtu, Ninoslav Marina, Prasenjit Dey, Raja Manakkal, Peter Allan Berlin, Marius Kleiner, Vojislav Gajic, Saeid Haghighatshoar, Adrian Dan Tarniceriu A co-dirigé les thèses EPFL de Michael Gastpar, Tarik Tabet

Michael Christoph Gastpar

Michael Gastpar is a (full) Professor at EPFL. From 2003 to 2011, he was a professor at the University of California at Berkeley, earning his tenure in 2008. He received his Dipl. El.-Ing. degree from ETH Zürich, Switzerland, in 1997 and his MS degree from the University of Illinois at Urbana-Champaign, IL, USA, in 1999. He defended his doctoral thesis at EPFL on Santa Claus day, 2002. He was also a (full) Professor at Delft University of Technology, The Netherlands. His research interests are in network information theory and related coding and signal processing techniques, with applications to sensor networks and neuroscience. He is a Fellow of the IEEE. He is the co-recipient of the 2013 Communications Society & Information Theory Society Joint Paper Award. He was an Information Theory Society Distinguished Lecturer (2009-2011). He won an ERC Starting Grant in 2010, an Okawa Foundation Research Grant in 2008, an NSF CAREER award in 2004, and the 2002 EPFL Best Thesis Award. He has served as an Associate Editor for Shannon Theory for the IEEE Transactions on Information Theory (2008-11), and as Technical Program Committee Co-Chair for the 2010 International Symposium on Information Theory, Austin, TX.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Capacité d'un canal

Statistique

Inférence statistique: Statistique mathématique

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Entropie croisée

En théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .

Variable aléatoire

vignette|La valeur d’un dé après un lancer est une variable aléatoire comprise entre 1 et 6. En théorie des probabilités, une variable aléatoire est une variable dont la valeur est déterminée après la réalisation d’un phénomène, expérience ou événement, aléatoire. En voici des exemples : la valeur d’un dé entre 1 et 6 ; le côté de la pièce dans un pile ou face ; le nombre de voitures en attente dans la 2e file d’un télépéage autoroutier ; le jour de semaine de naissance de la prochaine personne que vous rencontrez ; le temps d’attente dans la queue du cinéma ; le poids de la part de tomme que le fromager vous coupe quand vous lui en demandez un quart ; etc.

Variables indépendantes et identiquement distribuées

vignette|upright=1.5|alt=nuage de points|Ce nuage de points représente 500 valeurs aléatoires iid simulées informatiquement. L'ordonnée d'un point est la valeur simulée suivante, dans la liste des 500 valeurs, de la valeur simulée pour l'abscisse du point. En théorie des probabilités et en statistique, des variables indépendantes et identiquement distribuées sont des variables aléatoires qui suivent toutes la même loi de probabilité et sont indépendantes. On dit que ce sont des variables aléatoires iid ou plus simplement des variables iid.

Binary entropy function

In information theory, the binary entropy function, denoted or , is defined as the entropy of a Bernoulli process with probability of one of two values. It is a special case of , the entropy function. Mathematically, the Bernoulli trial is modelled as a random variable that can take on only two values: 0 and 1, which are mutually exclusive and exhaustive. If , then and the entropy of (in shannons) is given by where is taken to be 0. The logarithms in this formula are usually taken (as shown in the graph) to the base 2.

Afficher plus

Séances de cours associées (64)

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Information mutuelle et entropie

Explore l'information mutuelle et le calcul d'entropie entre les variables aléatoires.

Règle de chaîne pour l'entropie

Explore la règle de chaîne pour l'entropie, décompose l'incertitude dans les variables aléatoires et illustre son application avec des exemples.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Afficher plus

Concepts associés (32)

Entropie de Shannon

Entropie croisée

Variable aléatoire

Variables indépendantes et identiquement distribuées

Binary entropy function

Afficher plus