Séance de cours

Théorie de l'information : Entropie et capacité

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

COM-404: Information theory and coding

The mathematical principles of communication that govern the compression and transmission of data and the design of efficient methods of doing so. ...

Description

Cette séance de cours de l'instructeur couvre les concepts d'entropie différentielle, de fonctions de densité articulaire, de distributions gaussiennes et de propriétés d'entropie maximale. L'accent est mis sur la compréhension de la capacité des canaux soumis à des contraintes et de la relation entre l'entropie et la transmission de l'information.

Enseignant·e

Emre Telatar

Enseignement et PhD Doctorant·es actuel·les Serhat Emre Coban, Adway Girish, Ryan Yuanqing Song A dirigé les thèses EPFL de Aslan Tchamkerten, Stéphane Musy, Sibi Raj Bhaskaran Pillai, Robert Konsbruck, Dinkar Vasudevan, Eren Sasoglu, Mohammad Karzand, Alla Merzakreeva, Mine Alsan, Marc Desgroseilliers, Mani Bastani Parizi, Rajai Nasser, Serj Haddad, Elie Najm, Yunus Inan, Reka Inovan, Pierre Quinton A co-dirigé les thèses EPFL de Prasenjit Dey, Etienne Perron, Ayfer Özgür Aydin Cours Information theory

Source officielle

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

PDP-11

thumb|PDP-11 à l'université du Michigan Un PDP-11 est un modèle d'ordinateur de la gamme des PDP (Programmable Data Processor) construit par Digital Equipment Corporation (DEC) entre 1970 et 1993. Tous les PDP-11 sont 16 bits et entrent dans la classe des mini-ordinateurs. Ils furent extrêmement populaires car ils alliaient modularité, un excellent rapport qualité/prix, et leur utilisation n'était pas cantonnée à un seul secteur d'application : on les retrouvait aussi bien dans les laboratoires de physique pour faire de l'acquisition de données que dans les cabinets comptables.

Space–time block code

Space–time block coding is a technique used in wireless communications to transmit multiple copies of a data stream across a number of antennas and to exploit the various received versions of the data to improve the reliability of data transfer. The fact that the transmitted signal must traverse a potentially difficult environment with scattering, reflection, refraction and so on and may then be further corrupted by thermal noise in the receiver means that some of the received copies of the data may be closer to the original signal than others.

MIMO (télécommunications)

Multiple-Input Multiple-Output ou MIMO (« entrées multiples, sorties multiples » en français) est une technique de multiplexage utilisée dans les radars, réseaux sans fil et les réseaux mobiles permettant des transferts de données à plus longue portée et avec un débit plus élevé qu’avec des antennes utilisant la technique SISO (Single-Input Single-Output). Alors que les anciens réseaux Wi-Fi ou les réseaux GSM standards utilisent une seule antenne au niveau de l'émetteur et du récepteur, MIMO utilise plusieurs antennes tant au niveau de l'émetteur (par exemple un routeur) que du récepteur (par exemple un PC portable ou un smartphone).

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().

Afficher plus

Séances de cours associées (64)

Information mutuelle et entropie

Explore l'information mutuelle et le calcul d'entropie entre les variables aléatoires.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Théorie de l'information: Capacité du canal et fonctions convexes

Explore la capacité des canaux et les fonctions convexes dans la théorie de l'information, en soulignant l'importance de la convexité.

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Afficher plus

Concepts associés (32)

Entropie de Shannon

PDP-11

Space–time block code

MIMO (télécommunications)

Entropie (thermodynamique)

Afficher plus