Séance de cours

Entropie : Exemples et propriétés

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-119(a): Information, calcul, communication

D'une part, le cours aborde: (1) la notion d'algorithme et de représentation de l'information, (2) l'échantillonnage d'un signal et la compression de données et (3) des aspects liés aux systèmes: ordinateur, mémoire, etc. D'autre part, le cours donne une i ...

Description

Cette séance de cours couvre le concept d'entropie en théorie de l'information, en commençant par des exemples de deviner des lettres en séquences et de calculer l'entropie. Il explore les origines de l'entropie en physique, l'interprétation de l'entropie dans les messages et les propriétés telles que la concavité et l'ordre total. La séance de cours se termine par des inégalités liées aux calculs de l'entropie.

Dans MOOC

Information, Calcul, Communication: Introduction à la pensée informatique

Dans une première partie, nous étudierons d’abord comment résoudre de manière très concrète un problème au moyen d’un algorithme, ce qui nous amènera dans un second temps à une des grandes questions de l’informatique théorique moderne. La seconde partie du cours sera quant à elle consacrée à l’information est la communication : nous passerons en revue plusieurs sujets, comme la représentation de l'information, le traitement des signaux, la compression de données, la communication et la cryptographie.

Enseignant·e·s (3)

Olivier Lévêque

Olivier Lévêque est né en Suisse en 1971. Il a reçu le diplôme d'ingénieur-physicien de l'EPFL en 1995 et obtenu le doctorat au Département de Mathématiques de l'EPFL en 2001. Depuis lors, il travaille au Laboratoire de Théorie de l'Information à l' EPFL. Il a passé l'année académique 2006-2007 au Département d'Electricité de l'Université de Stanford, où il a été nommé chargé de cours. Ses domaines d'intérêt comprennent la théorie de l'information, les matrices aléatoires et les équations aux dérivées partielles stochastiques.

Dan-Cristian Tomozei

Mirjana Stojilovic

Mirjana Stojilović received the Dipl. Ing. and Ph.D. degrees from the School of Electrical Engineering, University of Belgrade, in 2006 and 2013, respectively. From 2010 to 2013, she was collaborating with the Processor Architecture Laboratory at EPFL, visiting periodically as a Guest Researcher. From 2013 to 2016, she was working at the University of Applied Sciences Western Switzerland as a senior researcher, and at EPFL as a lecturer. She joined Parallel Systems Architecture Lab at EPFL in October 2016. Mirjana's main research interests include electronic design automation, reconfigurable computing, electromagnetic-compatibility and signal-integrity issues, and hardware security. Mirjana Stojilović serves on the program committee of the FPGA, FPL, and FCCM conferences and as a reviewer for IEEE TCAD, TVLSI, TC, TEMC, IEEE Access and ACM TRETS. She received the Best Paper Award at 2016 International Symposium on Electromagnetic Compatibility (EMC Europe 2016), Young Scientist Award at 33rd International Conference on Lightning Protection (ICLP2016), and the Young Author Best Paper Award at the 20th Telecommunication Forum in Belgrade (TELFOR 2012). In 2015, the EPFL School of Computer and Communication Sciences (IC) presented her with the Teaching Award.

Source officielle

Quiz

Concepts associés (32)

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Théorie des probabilités

La théorie des probabilités en mathématiques est l'étude des phénomènes caractérisés par le hasard et l'incertitude. Elle forme avec la statistique les deux sciences du hasard qui sont partie intégrante des mathématiques. Les débuts de l'étude des probabilités correspondent aux premières observations du hasard dans les jeux ou dans les phénomènes climatiques par exemple. Bien que le calcul de probabilités sur des questions liées au hasard existe depuis longtemps, la formalisation mathématique n'est que récente.

Ordre total

En mathématiques, on appelle relation d'ordre total sur un ensemble E toute relation d'ordre ≤ pour laquelle deux éléments de E sont toujours comparables, c'est-à-dire que On dit alors que E est totalement ordonné par ≤. Une relation binaire ≤ sur un ensemble E est un ordre total si (pour tous éléments x, y et z de E) : x ≤ x (réflexivité) ; si x ≤ y et y ≤ x, alors x = y (antisymétrie) ; si x ≤ y et y ≤ z, alors x ≤ z (transitivité) ; x ≤ y ou y ≤ x (totalité). Les trois premières propriétés sont celles faisant de ≤ une relation d'ordre.

Loi de probabilité

thumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.

Ordre lexicographique

En mathématiques, un ordre lexicographique est un ordre que l'on définit sur les suites finies d'éléments d'un ensemble ordonné (ou, de façon équivalente, les mots construits sur un ensemble ordonné). Sa définition est une généralisation de l'ordre du dictionnaire : l'ensemble ordonné est l'alphabet, les mots sont bien des suites finies de lettres de l'alphabet. La principale propriété de l'ordre lexicographique est de conserver la totalité de l'ordre initial.

Afficher plus

Séances de cours associées (64)

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Compression de données et entropie: Illustration des propriétés d'entropie

Explore l'entropie comme une mesure du désordre et comment elle peut être augmentée.

Théorie de l'information : examen et information mutuelle

Examine les mesures d'information comme l'entropie et introduit l'information mutuelle comme mesure de l'information entre les variables aléatoires.

Afficher plus

Concepts associés (32)

Probabilité

Théorie des probabilités

Ordre total

Loi de probabilité

Ordre lexicographique

Afficher plus