Séance de cours

Théorie de l'information: Entropie et traitement de l'information

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-404: Information theory and coding

The mathematical principles of communication that govern the compression and transmission of data and the design of efficient methods of doing so. ...

Description

Cette séance de cours couvre le concept d'entropie dans la théorie de l'information, en discutant de la relation entre les distributions de probabilité et le traitement de l'information. Emre Telatar explique les propriétés formelles de l'information et le rôle de l'entropie dans le traitement des données, en mettant l'accent sur la règle de la chaîne et ses applications dans divers scénarios.

Enseignant·e

Emre Telatar

Enseignement et PhD Doctorant·es actuel·les Serhat Emre Coban, Adway Girish, Ryan Yuanqing Song A dirigé les thèses EPFL de Aslan Tchamkerten, Stéphane Musy, Sibi Raj Bhaskaran Pillai, Robert Konsbruck, Dinkar Vasudevan, Eren Sasoglu, Mohammad Karzand, Alla Merzakreeva, Mine Alsan, Marc Desgroseilliers, Mani Bastani Parizi, Rajai Nasser, Serj Haddad, Elie Najm, Yunus Inan, Reka Inovan, Pierre Quinton A co-dirigé les thèses EPFL de Prasenjit Dey, Etienne Perron, Ayfer Özgür Aydin Cours Information theory

Source officielle

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Loi de probabilité

thumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Théorie algorithmique de l'information

La théorie algorithmique de l'information, initiée par Kolmogorov, Solomonov et Chaitin dans les années 1960, vise à quantifier et qualifier le contenu en information d'un ensemble de données, en utilisant la théorie de la calculabilité et la notion de machine universelle de Turing. Cette théorie permet également de formaliser la notion de complexité d'un objet, dans la mesure où l'on considère qu'un objet (au sens large) est d'autant plus complexe qu'il faut beaucoup d'informations pour le décrire, ou — à l'inverse — qu'un objet contient d'autant plus d'informations que sa description est longue.

Théorie des probabilités

La théorie des probabilités en mathématiques est l'étude des phénomènes caractérisés par le hasard et l'incertitude. Elle forme avec la statistique les deux sciences du hasard qui sont partie intégrante des mathématiques. Les débuts de l'étude des probabilités correspondent aux premières observations du hasard dans les jeux ou dans les phénomènes climatiques par exemple. Bien que le calcul de probabilités sur des questions liées au hasard existe depuis longtemps, la formalisation mathématique n'est que récente.

Afficher plus

Séances de cours associées (64)

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Erreur de généralisation

Explore les limites de queue, les limites d'information et les fuites maximales dans le contexte d'une erreur de généralisation.

Théorie de l'information : examen et information mutuelle

Examine les mesures d'information comme l'entropie et introduit l'information mutuelle comme mesure de l'information entre les variables aléatoires.

Afficher plus

Concepts associés (32)

Entropie de Shannon

Loi de probabilité

Théorie de l'information

Théorie algorithmique de l'information

Théorie des probabilités

Afficher plus