Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Compression des données et théorème de Shannon : analyse des performances

Dans cours

CS-119(d): Information, calcul, communication

L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (langage C++). ...

Description

Cette séance de cours explique le théorème de Shannon, indiquant que la compression d'une source ne peut pas aller au-dessous de son entropie. Il discute également de la performance des codes Shannon Fano, montrant qu'ils sont proches de l'optimum théorique. La relation entre l'entropie et le nombre moyen de questions dans un code Shannon Fano est explorée, fournissant un aperçu de la définition exacte de l'entropie.

Enseignant·e

Jean-Cédric Chappelier

Jean-Cédric Chappelier est ingénieur diplômé et docteur de l'Ecole Nationale Supérieure des Télécommunications de Paris. Il est actuellement collaborateur scientifique et chargé de cours à l'Ecole Polytechnique Fédérale de Lausanne où il participe à l'activité de recherche et enseigne, entre autres, dans le domaine du traitement automatique des langues.

Source officielle

Concepts associés (21)

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Théorème du codage de canal

En théorie de l'information, le théorème du codage de canal aussi appelé deuxième théorème de Shannon montre qu'il est possible de transmettre des données numériques sur un canal bruité avec un taux d'erreur arbitrairement faible si le débit est inférieur à une certaine limite propre au canal. Ce résultat publié par Claude Shannon en 1948 est fondé sur des travaux antérieurs de Harry Nyquist et Ralph Hartley. La première preuve rigoureuse fut établie par Amiel Feinstein en 1954.

Codage de Huffman

Le codage de Huffman est un algorithme de compression de données sans perte. Le codage de Huffman utilise un code à longueur variable pour représenter un symbole de la source (par exemple un caractère dans un fichier). Le code est déterminé à partir d'une estimation des probabilités d'apparition des symboles de source, un code court étant associé aux symboles de source les plus fréquents. Un code de Huffman est optimal au sens de la plus courte longueur pour un codage par symbole, et une distribution de probabilité connue.

Lossy compression

In information technology, lossy compression or irreversible compression is the class of data compression methods that uses inexact approximations and partial data discarding to represent the content. These techniques are used to reduce data size for storing, handling, and transmitting content. The different versions of the photo of the cat on this page show how higher degrees of approximation create coarser images as more details are removed. This is opposed to lossless data compression (reversible data compression) which does not degrade the data.

Afficher plus

Séances de cours associées (32)

Compression des données et Algorithme Shannon-Fano

Explore l'algorithme Shannon-Fano pour la compression des données et son efficacité dans la création de codes binaires uniques pour les lettres.

Compression: Codes sans préfixe

Explique les codes sans préfixe pour une compression efficace des données et l'importance des codes décodables de manière unique.

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Théorème de codage des sources

Explore le théorème de codage source, l'entropie, le codage Huffman et l'impact du conditionnement sur la réduction de l'entropie.

Compression des données et entropie 2: Entropie en tant que 'jeu de questions'

Explore l'entropie comme un « jeu de questions » pour deviner les lettres efficacement et sa relation à la compression des données.

Afficher plus

Concepts associés (21)

Entropie de Shannon

Compression de données

Théorème du codage de canal

Codage de Huffman

Lossy compression

Afficher plus