Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Irreversible processIn science, a process that is not reversible is called irreversible. This concept arises frequently in thermodynamics. All complex natural processes are irreversible, although a phase transition at the coexistence temperature (e.g. melting of ice cubes in water) is well approximated as reversible. In thermodynamics, a change in the thermodynamic state of a system and all of its surroundings cannot be precisely restored to its initial state by infinitesimal changes in some property of the system without expenditure of energy.
Sadi Carnot (physicien)Nicolas Léonard Sadi Carnot est un physicien et ingénieur français né le à Paris et mort le à Ivry-sur-Seine. Durant sa courte carrière (il meurt du choléra à l’âge de ), Sadi Carnot ne publia qu’un seul livre (comme Copernic) : Réflexions sur la puissance motrice du feu et sur les machines propres à développer cette puissance, en 1824, dans lequel il exprima, à l’âge de , ce qui s’avéra être le travail de sa vie et un livre important dans l’histoire de la physique.
Cycle thermodynamiqueUn cycle thermodynamique est une suite de transformations successives qui part d'un système thermodynamique dans un état donné, le transforme et le ramène finalement à son état initial, de manière à pouvoir recommencer le cycle. Au cours du cycle, le système voit sa température, sa pression ou d'autres paramètres d'état varier, tandis qu'il échange du travail et réalise un transfert thermique avec l'extérieur. Il existe de nombreux cycles thermodynamiques, dont voici quelques-uns.
Constante de BoltzmannLa constante de Boltzmann k (ou k) a été introduite par Ludwig Boltzmann dans sa définition de l'entropie de 1877. Le système étant à l'équilibre macroscopique, mais libre d'évoluer à l'échelle microscopique entre micro-états différents, son entropie S est donnée par : où la constante k retenue par le CODATA vaut (valeur exacte). La constante des gaz parfaits est liée à la constante de Boltzmann par la relation : (avec (valeur exacte) le nombre d'Avogadro, nombre de particules dans une mole). D'où :.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Trouble de l'humeurLe trouble de l'humeur est un groupe de diagnostics en provenance du système de classification du Manuel diagnostique et statistique des troubles mentaux dans lequel la thymie est principalement induite. Ce groupe de diagnostics est référencé sous le terme de dans la Classification internationale des maladies (CIM-10). Deux groupes de troubles de l'humeur sont largement reconnus ; cette division est basée sur le cas éventuel d'un patient ayant connu des épisodes maniaques ou hypomaniaques.
Gazvignette|Sphère de stockage de gaz naturel. vignette|Conduite de gaz de ville en polyéthylène. vignette|Panneau indiquant une conduite de gaz enterrée en France. vignette|Les gaz de combat ont été produits et utilisés de manière industrielle lors de la Première Guerre mondiale. Un gaz est un ensemble d'atomes ou de molécules très faiblement liés et quasi indépendants. Dans l’état gazeux, la matière n'a pas de forme propre ni de volume propre : un gaz tend à occuper tout le volume disponible.
Carnot's theorem (thermodynamics)In thermodynamics, Carnot's theorem, developed in 1824 by Nicolas Léonard Sadi Carnot, also called Carnot's rule, is a principle that specifies limits on the maximum efficiency that any heat engine can obtain. Carnot's theorem states that all heat engines operating between the same two thermal or heat reservoirs cannot have efficiencies greater than a reversible heat engine operating between the same reservoirs.
Transfert thermiquevignette|alt=Autour d'un feu, des mains reçoivent sa chaleur par rayonnement (sur le côté), par convection (au-dessus de ses flammes) et par conduction (à travers un ustensile en métal).|Les modes de transfert thermique ( en anglais pour « rayonnement »). Un transfert thermique, appelé plus communément chaleur, est l'un des modes d'échange d'énergie interne entre deux systèmes, l'autre étant le travail : c'est un transfert d'énergie thermique qui s'effectue hors de l'équilibre thermodynamique.
Inférence statistiquevignette|Illustration des 4 principales étapes de l'inférence statistique L'inférence statistique est l'ensemble des techniques permettant d'induire les caractéristiques d'un groupe général (la population) à partir de celles d'un groupe particulier (l'échantillon), en fournissant une mesure de la certitude de la prédiction : la probabilité d'erreur. Strictement, l'inférence s'applique à l'ensemble des membres (pris comme un tout) de la population représentée par l'échantillon, et non pas à tel ou tel membre particulier de cette population.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
