Entropy (classical thermodynamics)In classical thermodynamics, entropy () is a property of a thermodynamic system that expresses the direction or outcome of spontaneous changes in the system. The term was introduced by Rudolf Clausius in the mid-19th century to explain the relationship of the internal energy that is available or unavailable for transformations in form of heat and work. Entropy predicts that certain processes are irreversible or impossible, despite not violating the conservation of energy.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
TempératureLa température est une grandeur physique mesurée à l’aide d’un thermomètre et étudiée en thermométrie. Dans la vie courante, elle est reliée aux sensations de froid et de chaud, provenant du transfert thermique entre le corps humain et son environnement. En physique, elle se définit de plusieurs manières : comme fonction croissante du degré d’agitation thermique des particules (en théorie cinétique des gaz), par l’équilibre des transferts thermiques entre plusieurs systèmes ou à partir de l’entropie (en thermodynamique et en physique statistique).
Température thermodynamiqueLa température thermodynamique est une formalisation de la notion expérimentale de température et constitue l’une des grandeurs principales de la thermodynamique. Elle est intrinsèquement liée à l'entropie. Usuellement notée , la température thermodynamique se mesure en kelvins (symbole K). Encore souvent qualifiée de « température absolue », elle constitue une mesure absolue parce qu’elle traduit directement le phénomène physique fondamental qui la sous-tend : l’agitation des constituant la matière (translation, vibration, rotation, niveaux d'énergie électronique).
Troisième principe de la thermodynamiquevignette|Walther Hermann Nernst. Le troisième principe de la thermodynamique, appelé aussi principe de Nernst (1906), énonce que : La valeur de l'entropie de tout corps pur dans l'état de cristal parfait est nulle à la température de . Cela permet d'avoir une valeur déterminée de l'entropie (et non pas « à une constante additive près »). Ce principe est irréductiblement lié à l'indiscernabilité quantique des particules identiques. Il a été énoncé par Walther Nernst en 1906, puis Max Planck en 1912.
Maximum entropy thermodynamicsIn physics, maximum entropy thermodynamics (colloquially, MaxEnt thermodynamics) views equilibrium thermodynamics and statistical mechanics as inference processes. More specifically, MaxEnt applies inference techniques rooted in Shannon information theory, Bayesian probability, and the principle of maximum entropy. These techniques are relevant to any situation requiring prediction from incomplete or insufficient data (e.g., , signal processing, spectral analysis, and inverse problems).
Processus spontanéUn processus spontané est une évolution temporelle d'un système dans laquelle il perd de l'enthalpie libre (souvent sous forme de chaleur) et rejoint un état thermodynamiquement plus stable en parcourant un chemin sur sa surface d'énergie potentielle. La convention de signe des modifications de l'énergie libre suit la convention générale des mesures thermodynamiques, dans lesquelles une libération d'énergie libre depuis le système correspond à une variation négative de l'énergie libre du système, mais une variation positive pour son environnement.
Chaleur (thermodynamique)vignette|Le Soleil et la Terre constituent un exemple continu de processus de chauffage. Une partie du rayonnement thermique du Soleil frappe et chauffe la Terre. Par rapport au Soleil, la Terre a une température beaucoup plus basse et renvoie donc beaucoup moins de rayonnement thermique au Soleil. La chaleur dans ce processus peut être quantifiée par la quantité nette et la direction (Soleil vers Terre) d'énergie échangée lors du transfert thermique au cours d'une période de temps donnée.
