Séance de cours

Théorie de l'information: Quantifier les messages et l'entropie de la source

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MICRO-311(a): Signaux et systèmes II (pour MT)

Ce cours aborde la théorie des systèmes linéaires discrets invariants par décalage (LID). Leurs propriétés et caractéristiques fondamentales y sont discutées, ainsi que les outils fondamentaux permettant de les étudier (transformée de Fourier et transformé ...

Description

Cette séance de cours introduit le concept de la quantification de l'information basée sur la probabilité d'occurrence dans les messages, en soulignant l'importance de la quantification de l'information dans les systèmes de communication. Il couvre le nombre minimum de bits requis pour stocker les messages numériques, l'entropie d'une source et les distributions d'entropie maximales sous différentes contraintes. La séance de cours explore également le calcul d'informations communes entre les sources aléatoires et la capacité du canal de communication en présence de bruit, en soulignant l'importance du rapport signal sur bruit dans la détermination de la capacité du canal de transmission.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e·s (2)

Michaël Unser

Expertise Image Processing Medical Imaging Biological Imaging Wavelets Splines Multiresolution Enseignement et PhD Doctorant·es actuel·les Youssef Haouchat, Vincent Patrick Lawrence Guillemet, Bassam El Rawas, Stanislas Ducotterd, Mehrsa Pourya, Zhiyuan Hu A dirigé les thèses EPFL de Stefan Horbelt, Jan Kybic, Maria Arrate Munoz Barrutia, Manuela Feilner, Slavica Jonic, Mathews Jacob, Michael Liebling, Michael Sühling, Muthuvel Arigovindan, François Aguet, Cédric Vonesch, Ildar Khalidov, Sathish Ramani, F

Pierre Vandergheynst

Pierre Vandergheynst received the M.S. degree in physics and the Ph.D. degree in mathematical physics from the Université catholique de Louvain, Louvain-la-Neuve, Belgium, in 1995 and 1998, respectively. From 1998 to 2001, he was a Postdoctoral Researcher with the Signal Processing Laboratory, Swiss Federal Institute of Technology (EPFL), Lausanne, Switzerland. He was Assistant Professor at EPFL (2002-2007), where he is now a Full Professor of Electrical Engineering and, by courtesy, of Computer and Communication Sciences. As of 2015, Prof. Vandergheynst serves as EPFL’s Vice-Provost for Education. His research focuses on harmonic analysis, sparse approximations and mathematical data processing in general with applications covering signal, image and high dimensional data processing, computer vision, machine learning, data science and graph-based data processing. He was co-Editor-in-Chief of Signal Processing (2002-2006), Associate Editor of the IEEE Transactions on Signal Processing (2007-2011), the flagship journal of the signal processing community and currently serves as Associate Editor of Computer Vision and Image Understanding and SIAM Imaging Sciences. He has been on the Technical Committee of various conferences, serves on the steering committee of the SPARS workshop and was co-General Chairman of the EUSIPCO 2008 conference. Pierre Vandergheynst is the author or co-author of more than 70 journal papers, one monograph and several book chapters. He has received two IEEE best paper awards. Professor Vandergheynst is a laureate of the Apple 2007 ARTS award and of the 2009-2010 De Boelpaepe prize of the Royal Academy of Sciences of Belgium.

Source officielle

Concepts associés (32)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Bruit de mesure

En métrologie, le bruit de mesure est l'ensemble des signaux parasites qui se superposent au signal que l'on cherche à obtenir au moyen d'une mesure d'un phénomène physique. Ces signaux sont une gêne pour la compréhension de l'information que le signal transporte. La métrologie vise donc notamment à connaître leurs origines et à les caractériser, afin de les éliminer et d'obtenir le signal d'origine aussi distinctement que possible. La source du bruit d'origine externe est externe au système physique générant le signal utile et agit par influence sur celui-ci.

Rapport signal sur bruit

En électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.

Carrier-to-noise ratio

In telecommunications, the carrier-to-noise ratio, often written CNR or C/N, is the signal-to-noise ratio (SNR) of a modulated signal. The term is used to distinguish the CNR of the radio frequency passband signal from the SNR of an analog base band message signal after demodulation. For example, with FM radio, the strength of the 100 MHz carrier with modulations would be considered for CNR, whereas the audio frequency analogue message signal would be for SNR; in each case, compared to the apparent noise.

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Afficher plus

Séances de cours associées (64)

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Interprétation de l'entropie

Explore le concept d'entropie exprimée en bits et sa relation avec les distributions de probabilité, en se concentrant sur le gain et la perte d'informations dans divers scénarios.

Séance de cours: Shannon

Couvre les bases de la théorie de l'information, en se concentrant sur le réglage de Shannon et la transmission de canal.

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Information mutuelle et entropie

Explore l'information mutuelle et le calcul d'entropie entre les variables aléatoires.

Afficher plus

Concepts associés (32)

Entropie de Shannon

Bruit de mesure

Rapport signal sur bruit

Carrier-to-noise ratio

Entropie de Rényi

Afficher plus