Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Compression de données et théorème de Shannon: Exemple de calcul d'entropie

Dans cours

CS-119(d): Information, calcul, communication

L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (langage C++). ...

Description

Cette séance de cours se concentre sur le calcul de l'entropie d'un exemple donné en déterminant les probabilités des lettres et leurs fréquences d'apparition, conduisant à une valeur d'entropie finale de 2,69 pour une longueur de code moyenne de 2,75.

Enseignant·e

Jean-Cédric Chappelier

Jean-Cédric Chappelier est ingénieur diplômé et docteur de l'Ecole Nationale Supérieure des Télécommunications de Paris. Il est actuellement collaborateur scientifique et chargé de cours à l'Ecole Polytechnique Fédérale de Lausanne où il participe à l'activité de recherche et enseigne, entre autres, dans le domaine du traitement automatique des langues.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Théorie des codes

Concepts associés (31)

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Codage de Huffman

Le codage de Huffman est un algorithme de compression de données sans perte. Le codage de Huffman utilise un code à longueur variable pour représenter un symbole de la source (par exemple un caractère dans un fichier). Le code est déterminé à partir d'une estimation des probabilités d'apparition des symboles de source, un code court étant associé aux symboles de source les plus fréquents. Un code de Huffman est optimal au sens de la plus courte longueur pour un codage par symbole, et une distribution de probabilité connue.

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Théorie des probabilités

La théorie des probabilités en mathématiques est l'étude des phénomènes caractérisés par le hasard et l'incertitude. Elle forme avec la statistique les deux sciences du hasard qui sont partie intégrante des mathématiques. Les débuts de l'étude des probabilités correspondent aux premières observations du hasard dans les jeux ou dans les phénomènes climatiques par exemple. Bien que le calcul de probabilités sur des questions liées au hasard existe depuis longtemps, la formalisation mathématique n'est que récente.

Lossy compression

In information technology, lossy compression or irreversible compression is the class of data compression methods that uses inexact approximations and partial data discarding to represent the content. These techniques are used to reduce data size for storing, handling, and transmitting content. The different versions of the photo of the cat on this page show how higher degrees of approximation create coarser images as more details are removed. This is opposed to lossless data compression (reversible data compression) which does not degrade the data.

Afficher plus

Séances de cours associées (31)

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Entropie et algorithmes : Applications au tri et à la pesée

Couvre l'application de l'entropie dans les algorithmes, en se concentrant sur le tri et les stratégies de prise de décision.

Entropie et compression I

Explore la théorie de l'entropie, la compression sans perte, et l'efficacité de l'algorithme Shannon-Fano dans la compression des données.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Compression des données : Définition de l'entropie

Explore la compression des données par la définition, les types et les exemples pratiques d'entropie, illustrant son rôle dans le stockage et la transmission efficaces de l'information.

Afficher plus

Concepts associés (31)

Probabilité

Codage de Huffman

Compression de données

Théorie des probabilités

Lossy compression

Afficher plus