Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Sans titre

Dans cours

CS-119(g): Information, calcul, communication

L'objectif de ce cours est d'initier les étudiants à la pensée algorithmique, de les familiariser avec les fondamentaux de l'informatique et des communications et de développer une première compétence en programmation (langage C++). ...

Enseignant·e·s (2)

Jamila Sam

Jamila Sam is currently senior researcher and lecturer at the Ecole Polytechnique Fédérale de Lausanne (Switzerland).

Barbara Jobstmann

Source officielle

https://mediaspace.epfl.ch/media/0_8yykgvrs

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Concepts associés (32)

Entropie (thermodynamique)

L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().

Originalisme

L'originalisme est une théorie de l'interprétation juridique aux États-Unis, qui affirme que la Constitution américaine doit être interprétée en accord avec la signification qu'elle avait à l'époque de sa proclamation. Il s'agit d'une théorie de formalisme juridique, parfois corollaire du textualisme. Ce dernier affirme qu'un texte de loi doit être interprété en fonction de son sens évident et non en fonction de l'intention du législateur ou de quelque autre donnée.

Entropie de Shannon

En théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Entropie croisée

En théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .

Afficher plus

Séances de cours associées (51)

Compression des données : Définition de l'entropie

Explore la compression des données par la définition, les types et les exemples pratiques d'entropie, illustrant son rôle dans le stockage et la transmission efficaces de l'information.

Compression des données et Algorithme Shannon-Fano

Explore l'algorithme Shannon-Fano pour la compression des données et son efficacité dans la création de codes binaires uniques pour les lettres.

Entropie et compression I

Explore la théorie de l'entropie, la compression sans perte, et l'efficacité de l'algorithme Shannon-Fano dans la compression des données.

Modèles génériques: Boltzmann Machine

Couvre les modèles génératifs, en se concentrant sur les machines Boltzmann et la maximisation contrainte à l'aide de multiplicateurs Lagrange.

Entropie et algorithmes

Explore le rôle de l'entropie dans les stratégies de codage et les algorithmes de recherche, en montrant son impact sur la compression de l'information et l'efficacité des données.

Afficher plus

Concepts associés (32)

Entropie (thermodynamique)