Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Information mutuelle et entropie

Dans cours

COM-404: Information theory and coding

The mathematical principles of communication that govern the compression and transmission of data and the design of efficient methods of doing so. ...

Description

Cette séance de cours couvre les concepts d'information mutuelle et d'entropie, explorant la relation entre l'entropie différentielle et l'entropie discrète. Emre Telatar explique le calcul de l'information mutuelle entre les variables aléatoires et l'impact de la quantification sur l'entropie.

Enseignant·e

Emre Telatar

I. Emre Telatar received the B.Sc. degree in electrical engineering from the Middle East Technical University, Ankara, Turkey, in 1986. He received the S.M. and Ph.D. degrees in electrical engineering and computer science from the Massachusetts Institute of Technology, Cambridge, in 1988 and 1992 respectively. In 1992, he joined the Communications Analysis Research Department at AT&T Bell Laboratories (later Lucent Technologies), Murray Hill, NJ. He has been at the EPFL since 2000. Emre Telatar was the recipient of the IEEE Information Theory Society Paper Award in 2001. He was a program co-chair for the IEEE International Symposium on Information Theory in 2002, and associate editor for Shannon Theory for the IEEE Information Theory Transactions from 2001 to 2004. He was awarded the EPFL Agepoly teaching prize in 2005. Emre Telatar's research interests are in communication and information theories.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Capacité d'un canal

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().

Principe d'entropie maximale

Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. De toutes ces distributions, c'est en effet celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Entropie différentielle

Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average (surprisal) of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP).

Afficher plus

Séances de cours associées (51)

Information mutuelle : Comprendre les variables aléatoires

Explore l'information mutuelle, quantifiant les relations entre les variables aléatoires et mesurant le gain d'information et la dépendance statistique.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Mesures d'information

Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.

Théorie de l'information : Entropie et capacité

Couvre les concepts d'entropie, de distributions gaussiennes et de capacité de canal avec des contraintes.

Entropie : Théorèmes de l'entropie conditionnelle

Explore les limites de l'entropie, les théorèmes conditionnels de l'entropie et la règle de chaîne pour les entropies, illustrant leur application à travers des exemples.

Afficher plus

Concepts associés (32)

Entropie de Shannon

Entropie (thermodynamique)

Principe d'entropie maximale

Entropie de Rényi

Entropie différentielle

Afficher plus