Séance de cours

Quantifier l'information : probabilité, entropie et contraintes

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MICRO-311(b): Signaux et systèmes II (pour SV)

Ce cours aborde la théorie des systèmes linéaires discrets invariants par décalage (LID). Leurs propriétés et caractéristiques fondamentales y sont discutées, ainsi que les outils fondamentaux permettant de les étudier (transformée de Fourier et transformé ...

Description

Cette séance de cours se penche sur la quantification de l'information basée sur la probabilité, en soulignant l'importance de la quantification de l'information dans les systèmes de communication. Il couvre des sujets tels que le contenu de l'information des messages avec des probabilités élevées et faibles, le concept d'entropie pour une source, et les méthodes pour stocker le plus d'informations sous différentes contraintes. La séance de cours explore également la méthode des multiplicateurs de Lagrange pour maximiser le contenu de l'information, la relation entre l'information commune et l'entropie des sources aléatoires, et la capacité des canaux de communication en présence de bruit. Dans l'ensemble, il fournit une compréhension complète de la façon dont l'information est quantifiée et stockée efficacement dans divers systèmes.

Enseignant·e·s (2)

Michaël Unser

Expertise Image Processing Medical Imaging Biological Imaging Wavelets Splines Multiresolution Enseignement et PhD Doctorant·es actuel·les Youssef Haouchat, Vincent Patrick Lawrence Guillemet, Bassam El Rawas, Stanislas Ducotterd, Mehrsa Pourya, Zhiyuan Hu A dirigé les thèses EPFL de Stefan Horbelt, Jan Kybic, Maria Arrate Munoz Barrutia, Manuela Feilner, Slavica Jonic, Mathews Jacob, Michael Liebling, Michael Sühling, Muthuvel Arigovindan, François Aguet, Cédric Vonesch, Ildar Khalidov, Sathish Ramani, F

Pierre Vandergheynst

Pierre Vandergheynst received the M.S. degree in physics and the Ph.D. degree in mathematical physics from the Université catholique de Louvain, Louvain-la-Neuve, Belgium, in 1995 and 1998, respectively. From 1998 to 2001, he was a Postdoctoral Researcher with the Signal Processing Laboratory, Swiss Federal Institute of Technology (EPFL), Lausanne, Switzerland. He was Assistant Professor at EPFL (2002-2007), where he is now a Full Professor of Electrical Engineering and, by courtesy, of Computer and Communication Sciences. As of 2015, Prof. Vandergheynst serves as EPFL’s Vice-Provost for Education. His research focuses on harmonic analysis, sparse approximations and mathematical data processing in general with applications covering signal, image and high dimensional data processing, computer vision, machine learning, data science and graph-based data processing. He was co-Editor-in-Chief of Signal Processing (2002-2006), Associate Editor of the IEEE Transactions on Signal Processing (2007-2011), the flagship journal of the signal processing community and currently serves as Associate Editor of Computer Vision and Image Understanding and SIAM Imaging Sciences. He has been on the Technical Committee of various conferences, serves on the steering committee of the SPARS workshop and was co-General Chairman of the EUSIPCO 2008 conference. Pierre Vandergheynst is the author or co-author of more than 70 journal papers, one monograph and several book chapters. He has received two IEEE best paper awards. Professor Vandergheynst is a laureate of the Apple 2007 ARTS award and of the 2009-2010 De Boelpaepe prize of the Royal Academy of Sciences of Belgium.

Source officielle

Concepts associés (32)

Générateur de nombres aléatoires

Un générateur de nombres aléatoires, random number generator (RNG) en anglais, est un dispositif capable de produire une suite de nombres pour lesquels il n'existe aucun lien calculable entre un nombre et ses prédécesseurs, de façon que cette séquence puisse être appelée « suite de nombres aléatoires ». Par extension, on utilise ce terme pour désigner des générateurs de nombres pseudo aléatoires, pour lesquels ce lien calculable existe, mais ne peut pas « facilement » être déduit.

Hasard

vignette|Les jeux de dés sont des symboles du hasard (jeux de hasard). vignette|Tyché ou Fortuna et sa corne d'abondance (fortune, hasard, en grec ancien, sort en latin) déesse allégorique gréco-romaine de la chance, des coïncidences, de la fortune, de la prospérité, de la destinée...|alt= Le hasard est le principe déclencheur d'événements non liés à une cause connue. Il peut être synonyme de l'« imprévisibilité », de l'« imprédictibilité », de fortune ou de destin.

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Théorie des probabilités

La théorie des probabilités en mathématiques est l'étude des phénomènes caractérisés par le hasard et l'incertitude. Elle forme avec la statistique les deux sciences du hasard qui sont partie intégrante des mathématiques. Les débuts de l'étude des probabilités correspondent aux premières observations du hasard dans les jeux ou dans les phénomènes climatiques par exemple. Bien que le calcul de probabilités sur des questions liées au hasard existe depuis longtemps, la formalisation mathématique n'est que récente.

Générateur de nombres aléatoires matériel

En informatique, un générateur de nombres aléatoires matériel (aussi appelé générateur de nombres aléatoires physique ; en anglais, hardware random number generator ou true random number generator) est un appareil qui génère des nombres aléatoires à partir d'un phénomène physique, plutôt qu'au moyen d'un programme informatique. De tels appareils sont souvent basés sur des phénomènes microscopiques qui génèrent de faibles signaux de bruit statistiquement aléatoires, tels que le bruit thermique ou l'effet photoélectrique.

Afficher plus

Séances de cours associées (64)

Séance de cours: Shannon

Couvre les bases de la théorie de l'information, en se concentrant sur le réglage de Shannon et la transmission de canal.

Quantifier l'aléatoire et l'information dans les données biologiques

Explore l'entropie, le caractère aléatoire et la quantification de l'information dans l'analyse des données biologiques, y compris les neurosciences et la prédiction de la structure des protéines.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Interprétation de l'entropie

Explore le concept d'entropie exprimée en bits et sa relation avec les distributions de probabilité, en se concentrant sur le gain et la perte d'informations dans divers scénarios.

Afficher plus

Concepts associés (32)

Générateur de nombres aléatoires

Hasard

Probabilité

Théorie des probabilités

Générateur de nombres aléatoires matériel

Afficher plus