Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Corrélation maximale : Mesures d'information

Dans cours

COM-621: Advanced Topics in Information Theory

The class will focus on information-theoretic progress of the last decade. Topics include: Network Information Theory ; Information Measures: definitions, properties, and applications to probabilistic models. ...

Description

Cette séance de cours couvre le concept de corrélation maximale dans la théorie de l'information, en se concentrant sur l'information mutuelle et ses propriétés. Il traite du calcul de linformation mutuelle pour les variables discrètes, de la règle de la chaîne, et du concept de corrélation maximale comme une mesure de la dépendance entre les variables aléatoires. La séance de cours explore également les mesures d'informations généralisées de Renyi et leurs applications pour caractériser la relation entre les variables. En outre, il explore la continuité et la concavité de l'information mutuelle, offrant un aperçu des fondements mathématiques de la théorie de l'information.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Michael Christoph Gastpar

Michael Gastpar is a (full) Professor at EPFL. From 2003 to 2011, he was a professor at the University of California at Berkeley, earning his tenure in 2008. He received his Dipl. El.-Ing. degree from ETH Zürich, Switzerland, in 1997 and his MS degree from the University of Illinois at Urbana-Champaign, IL, USA, in 1999. He defended his doctoral thesis at EPFL on Santa Claus day, 2002. He was also a (full) Professor at Delft University of Technology, The Netherlands. His research interests are in network information theory and related coding and signal processing techniques, with applications to sensor networks and neuroscience. He is a Fellow of the IEEE. He is the co-recipient of the 2013 Communications Society & Information Theory Society Joint Paper Award. He was an Information Theory Society Distinguished Lecturer (2009-2011). He won an ERC Starting Grant in 2010, an Okawa Foundation Research Grant in 2008, an NSF CAREER award in 2004, and the 2002 EPFL Best Thesis Award. He has served as an Associate Editor for Shannon Theory for the IEEE Transactions on Information Theory (2008-11), and as Technical Program Committee Co-Chair for the 2010 International Symposium on Information Theory, Austin, TX.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Capacité d'un canal

Concepts associés (32)

Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Interaction information

The interaction information is a generalization of the mutual information for more than two variables. There are many names for interaction information, including amount of information, information correlation, co-information, and simply mutual information. Interaction information expresses the amount of information (redundancy or synergy) bound up in a set of variables, beyond that which is present in any subset of those variables. Unlike the mutual information, the interaction information can be either positive or negative.

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Mal de dos

Un ou une désigne toute douleur siégeant au niveau du rachis ou à proximité de celui-ci, quelles que soient l’origine, la nature et l’intensité de la douleur. Selon le point d'origine de la douleur, on distingue les cervicalgies, les dorsalgies et les lombalgies. Ces dernières sont les plus fréquentes, en particulier chez les travailleurs manuels tandis que les cervicalgies touchent davantage les personnes travaillant dans les bureaux.

Afficher plus

Séances de cours associées (32)

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Mesures d'information

Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.

Théorie de l'information : examen et information mutuelle

Examine les mesures d'information comme l'entropie et introduit l'information mutuelle comme mesure de l'information entre les variables aléatoires.

Mesures d'information: Partie 2

Couvre les mesures d'information telles que l'entropie, l'entropie articulaire et l'information mutuelle dans la théorie de l'information et le traitement des données.

Afficher plus

Concepts associés (32)

Information mutuelle

Théorie de l'information

Interaction information

Entropie de Shannon

Mal de dos

Afficher plus