Séance de cours

Théorie de l'information: Capacité du canal et fonctions convexes

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-404: Information theory and coding

The mathematical principles of communication that govern the compression and transmission of data and the design of efficient methods of doing so. ...

Description

Cette séance de cours couvre les concepts de capacité de canal, les fonctions convexes, et leurs applications dans la théorie de l'information. Emre Telatar explique les propriétés des fonctions concaves et convexes, leur relation avec la capacité du canal et les conditions pour qu'une fonction soit convexe. La séance de cours se penche également sur le calcul de la capacité des canaux et la signification de la convexité dans la théorie de l'information.

Enseignant·e

Emre Telatar

Enseignement et PhD Doctorant·es actuel·les Serhat Emre Coban, Adway Girish, Ryan Yuanqing Song A dirigé les thèses EPFL de Aslan Tchamkerten, Stéphane Musy, Sibi Raj Bhaskaran Pillai, Robert Konsbruck, Dinkar Vasudevan, Eren Sasoglu, Mohammad Karzand, Alla Merzakreeva, Mine Alsan, Marc Desgroseilliers, Mani Bastani Parizi, Rajai Nasser, Serj Haddad, Elie Najm, Yunus Inan, Reka Inovan, Pierre Quinton A co-dirigé les thèses EPFL de Prasenjit Dey, Etienne Perron, Ayfer Özgür Aydin Cours Information theory

Source officielle

Concepts associés (32)

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Variable aléatoire

vignette|La valeur d’un dé après un lancer est une variable aléatoire comprise entre 1 et 6. En théorie des probabilités, une variable aléatoire est une variable dont la valeur est déterminée après la réalisation d’un phénomène, expérience ou événement, aléatoire. En voici des exemples : la valeur d’un dé entre 1 et 6 ; le côté de la pièce dans un pile ou face ; le nombre de voitures en attente dans la 2e file d’un télépéage autoroutier ; le jour de semaine de naissance de la prochaine personne que vous rencontrez ; le temps d’attente dans la queue du cinéma ; le poids de la part de tomme que le fromager vous coupe quand vous lui en demandez un quart ; etc.

Optimisation convexe

vignette|320x320px|Optimisation convexe dans un espace en deux dimensions dans un espace contraint L'optimisation convexe est une sous-discipline de l'optimisation mathématique, dans laquelle le critère à minimiser est convexe et l'ensemble admissible est convexe. Ces problèmes sont plus simples à analyser et à résoudre que les problèmes d'optimisation non convexes, bien qu'ils puissent être NP-difficile (c'est le cas de l'optimisation copositive). La théorie permettant d'analyser ces problèmes ne requiert pas la différentiabilité des fonctions.

Space–time block code

Space–time block coding is a technique used in wireless communications to transmit multiple copies of a data stream across a number of antennas and to exploit the various received versions of the data to improve the reliability of data transfer. The fact that the transmitted signal must traverse a potentially difficult environment with scattering, reflection, refraction and so on and may then be further corrupted by thermal noise in the receiver means that some of the received copies of the data may be closer to the original signal than others.

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Afficher plus

Séances de cours associées (64)

Information mutuelle et entropie

Explore l'information mutuelle et le calcul d'entropie entre les variables aléatoires.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Entropie et théorie de l'information

Explore l'entropie, l'incertitude, la théorie du codage et les applications de compression de données.

Interprétation de l'entropie

Explore le concept d'entropie exprimée en bits et sa relation avec les distributions de probabilité, en se concentrant sur le gain et la perte d'informations dans divers scénarios.

Afficher plus

Concepts associés (32)

Théorie de l'information

Variable aléatoire

Optimisation convexe

Space–time block code

Entropie de Rényi

Afficher plus