Séance de cours

Corrélation maximale : Mesures d'information

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-621: Advanced Topics in Information Theory

The class will focus on information-theoretic progress of the last decade. Topics include: Network Information Theory ; Information Measures: definitions, properties, and applications to probabilistic models. ...

Description

Cette séance de cours couvre le concept de corrélation maximale dans la théorie de l'information, en se concentrant sur l'information mutuelle et ses propriétés. Il traite du calcul de linformation mutuelle pour les variables discrètes, de la règle de la chaîne, et du concept de corrélation maximale comme une mesure de la dépendance entre les variables aléatoires. La séance de cours explore également les mesures d'informations généralisées de Renyi et leurs applications pour caractériser la relation entre les variables. En outre, il explore la continuité et la concavité de l'information mutuelle, offrant un aperçu des fondements mathématiques de la théorie de l'information.

Enseignant·e

Michael Christoph Gastpar

Michael Gastpar is a (full) Professor at EPFL. From 2003 to 2011, he was a professor at the University of California at Berkeley, earning his tenure in 2008. He received his Dipl. El.-Ing. degree from ETH Zürich, Switzerland, in 1997 and his MS degree from the University of Illinois at Urbana-Champaign, IL, USA, in 1999. He defended his doctoral thesis at EPFL on Santa Claus day, 2002. He was also a (full) Professor at Delft University of Technology, The Netherlands. His research interests are in network information theory and related coding and signal processing techniques, with applications to sensor networks and neuroscience. He is a Fellow of the IEEE. He is the co-recipient of the 2013 Communications Society & Information Theory Society Joint Paper Award. He was an Information Theory Society Distinguished Lecturer (2009-2011). He won an ERC Starting Grant in 2010, an Okawa Foundation Research Grant in 2008, an NSF CAREER award in 2004, and the 2002 EPFL Best Thesis Award. He has served as an Associate Editor for Shannon Theory for the IEEE Transactions on Information Theory (2008-11), and as Technical Program Committee Co-Chair for the 2010 International Symposium on Information Theory, Austin, TX.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Capacité d'un canal

Concepts associés (32)

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Interaction information

The interaction information is a generalization of the mutual information for more than two variables. There are many names for interaction information, including amount of information, information correlation, co-information, and simply mutual information. Interaction information expresses the amount of information (redundancy or synergy) bound up in a set of variables, beyond that which is present in any subset of those variables. Unlike the mutual information, the interaction information can be either positive or negative.

Mal de dos

Un ou une désigne toute douleur siégeant au niveau du rachis ou à proximité de celui-ci, quelles que soient l’origine, la nature et l’intensité de la douleur. Selon le point d'origine de la douleur, on distingue les cervicalgies, les dorsalgies et les lombalgies. Ces dernières sont les plus fréquentes, en particulier chez les travailleurs manuels tandis que les cervicalgies touchent davantage les personnes travaillant dans les bureaux.

Lombalgie

Une lombalgie est un état douloureux du rachis lombaire. Lorsqu'elle est aiguë, il s'agit d'un lumbago (ou tour de reins dans le langage courant familier, les reins désignant ici la région lombaire). Les lombalgies affectent une forte majorité de la population (elles touchent entre 40 et 70 % de la population à un moment ou à un autre). Aux États-Unis seulement, les lombalgies entraînant une incapacité de retourner au travail représentent des coûts directs et indirects évalués .

Théorie algorithmique de l'information

La théorie algorithmique de l'information, initiée par Kolmogorov, Solomonov et Chaitin dans les années 1960, vise à quantifier et qualifier le contenu en information d'un ensemble de données, en utilisant la théorie de la calculabilité et la notion de machine universelle de Turing. Cette théorie permet également de formaliser la notion de complexité d'un objet, dans la mesure où l'on considère qu'un objet (au sens large) est d'autant plus complexe qu'il faut beaucoup d'informations pour le décrire, ou — à l'inverse — qu'un objet contient d'autant plus d'informations que sa description est longue.

Afficher plus

Séances de cours associées (40)

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Entropie de Gibbs et théorie de l'information

Explore l'entropie de Gibbs, la théorie de l'information et le contenu informationnel des événements dans des scénarios non-équiprobables.

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Huffman Coding

Explore le codage Huffman en le comparant à l'organisation d'une cuisine pour l'efficacité.

Afficher plus

Concepts associés (32)

Théorie de l'information

Interaction information

Mal de dos

Lombalgie

Théorie algorithmique de l'information

Afficher plus