Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Propriétés de l'entropie

Dans cours

CS-119(d): Information, calcul, communication

L'objectif de ce cours est d'introduire les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'Informatique et de développer une première compétence en programmation (langage C++). ...

Description

Cette séance de cours traite des propriétés de l'entropie, soulignant qu'elle n'est pas toujours un entier lorsque les probabilités ne sont pas des nombres entiers. Il explique que l'entropie est positive, ne devient nulle que lorsque toutes les probabilités sauf une sont nulles, et est inférieure ou égale au logarithme du nombre de valeurs possibles, atteignant l'égalité avec l'équiprobabilité.

Source officielle

Concepts associés (22)

Probabilité

vignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.

Logarithme

vignette|Tracés des fonctions logarithmes en base 2, e et 10. En mathématiques, le logarithme (de logos : rapport et arithmos : nombre) de base d'un nombre réel strictement positif est la puissance à laquelle il faut élever la base pour obtenir ce nombre. Dans le cas le plus simple, le logarithme compte le nombre d'occurrences du même facteur dans une multiplication répétée : comme 1000 = 10×10×10 = 10, le logarithme en base 10 de 1000 est 3. Le logarithme de en base est noté : . John Napier a développé les logarithmes au début du .

Bayesian probability

Bayesian probability (ˈbeɪziən or ˈbeɪʒən ) is an interpretation of the concept of probability, in which, instead of frequency or propensity of some phenomenon, probability is interpreted as reasonable expectation representing a state of knowledge or as quantification of a personal belief. The Bayesian interpretation of probability can be seen as an extension of propositional logic that enables reasoning with hypotheses; that is, with propositions whose truth or falsity is unknown.

Probabilité conditionnelle

vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.

Logarithme naturel

Le logarithme naturel ou logarithme népérien, ou encore logarithme hyperbolique jusqu'au , transforme, comme les autres fonctions logarithmes, les produits en sommes. L'utilisation de telles fonctions permet de faciliter les calculs comprenant de nombreuses multiplications, divisions et élévations à des puissances rationnelles. Il est souvent noté ln(). Le logarithme naturel ou népérien est dit de base e car ln(e) = 1. Le logarithme népérien d'un nombre x peut également être défini comme la puissance à laquelle il faut élever e pour obtenir x.

Afficher plus

Séances de cours associées (53)

Mesures de l'information : Entropie et théorie de l'information

Explique comment l'entropie mesure l'incertitude dans un système en fonction des résultats possibles.

Concepts d'entropie conditionnelle et de théorie de l'information

Discute de l'entropie conditionnelle et de son rôle dans la théorie de l'information et la compression des données.

Entropie : Exemples et propriétés MOOC: Information, Calcul, Communication: Introduction à la pensée informatique

Explore des exemples de devinettes lettres, les origines de l'entropie, et les propriétés dans la théorie de l'information.

Source : Modèle de Markov

Explore un modèle de Markov de premier ordre à laide dun exemple de source ensoleillée-pluie, démontrant comment les événements passés influencent les résultats futurs.

Compression de données et entropie: Illustration des propriétés d'entropie

Explore l'entropie comme une mesure du désordre et comment elle peut être augmentée.

Afficher plus

Concepts associés (22)

Probabilité

Logarithme

Bayesian probability

Probabilité conditionnelle

Logarithme naturel

Afficher plus