Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Séance de cours: Shannon

Dans cours

PHYS-435: Statistical physics III

This course introduces statistical field theory, and uses concepts related to phase transitions to discuss a variety of complex systems (random walks and polymers, disordered systems, combinatorial optimisation, information theory and error correcting cod ...

Description

Cette séance de cours couvre les bases de la théorie de l'information, en se concentrant sur le cadre de Shannon. Il traite de la transmission des canaux, de l'entropie, de la quantification de l'information et des codes de correction d'erreurs. La séance de cours explore le concept de capacité de canal et l'importance de la théorie du codage dans la transmission de données.

Source officielle

Proximité ontologique

Information engineering

Théorie de l'information: Théorie des codes

Concepts associés (32)

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Error correction code

In computing, telecommunication, information theory, and coding theory, forward error correction (FEC) or channel coding is a technique used for controlling errors in data transmission over unreliable or noisy communication channels. The central idea is that the sender encodes the message in a redundant way, most often by using an error correction code or error correcting code (ECC). The redundancy allows the receiver not only to detect errors that may occur anywhere in the message, but often to correct a limited number of errors.

Code (information)

vignette|redresse|Code morse international. En sciences et techniques, notamment en informatique et en théorie de l'information, un code est une règle de transcription qui, à tout symbole d'un jeu de caractères (alphabet source) assigne de manière univoque un caractère ou une chaîne de caractères pris dans un jeu de caractères éventuellement différent (alphabet cible). Un exemple est le code morse qui établit une relation entre lettres de l'alphabet latin et des séquences de sons courts et longs.

Théorie des codes

En théorie de l'information, la théorie des codes traite des codes et de leurs propriétés et de leurs aptitudes à servir sur différents canaux de communication. On distingue deux modèles de communication : avec et sans bruit. Sans bruit, le codage de source suffit à la communication. Avec bruit, la communication est possible avec les codes correcteurs. En définissant l'information de façon mathématique, l'étape fondatrice de la théorie des codes a été franchie par Claude Shannon.

Afficher plus

Séances de cours associées (56)

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Entropie et compression de données: techniques de codage Huffman

Discute de l'entropie, de la compression des données et des techniques de codage Huffman, en mettant l'accent sur leurs applications pour optimiser les longueurs de mots de code et comprendre l'entropie conditionnelle.

Théorie de l'information: Codage des sources, Cryptographie, Codage des canaux

Couvre le codage source, la cryptographie et le codage canal dans les systèmes de communication, explorant l'entropie, les codes, les canaux d'erreur et les cours futurs connexes.

Entropie et algorithmes : Applications au tri et à la pesée

Couvre l'application de l'entropie dans les algorithmes, en se concentrant sur le tri et les stratégies de prise de décision.

Afficher plus

Concepts associés (32)

Théorie de l'information

Entropie de Shannon

Error correction code

Code (information)

Théorie des codes

Afficher plus