Entropy estimationIn various science/engineering applications, such as independent component analysis, , genetic analysis, speech recognition, manifold learning, and time delay estimation it is useful to estimate the differential entropy of a system or process, given some observations. The simplest and most common approach uses histogram-based estimation, but other approaches have been developed and used, each with its own benefits and drawbacks.
Gaz parfaitLe gaz parfait est un modèle thermodynamique décrivant le comportement des gaz réels à basse pression. Ce modèle a été développé du milieu du au milieu du et formalisé au . Il est fondé sur l'observation expérimentale selon laquelle tous les gaz tendent vers ce comportement à pression suffisamment basse, quelle que soit la nature chimique du gaz, ce qu'exprime la loi d'Avogadro, énoncée en 1811 : la relation entre la pression, le volume et la température est, dans ces conditions, indépendante de la nature du gaz.
Constante de BoltzmannLa constante de Boltzmann k (ou k) a été introduite par Ludwig Boltzmann dans sa définition de l'entropie de 1877. Le système étant à l'équilibre macroscopique, mais libre d'évoluer à l'échelle microscopique entre micro-états différents, son entropie S est donnée par : où la constante k retenue par le CODATA vaut (valeur exacte). La constante des gaz parfaits est liée à la constante de Boltzmann par la relation : (avec (valeur exacte) le nombre d'Avogadro, nombre de particules dans une mole). D'où :.
PhysiqueLa physique est la science qui essaie de comprendre, de modéliser et d'expliquer les phénomènes naturels de l'Univers. Elle correspond à l'étude du monde qui nous entoure sous toutes ses formes, des lois de ses variations et de leur évolution. La physique développe des représentations du monde expérimentalement vérifiables dans un domaine de définition donné. Elle produit plusieurs lectures du monde, chacune n'étant considérée comme précise que jusqu'à un certain point.
Fonction de partitionEn physique statistique, la fonction de partition Z est une grandeur fondamentale qui englobe les propriétés statistiques d'un système à l'équilibre thermodynamique. C'est une fonction de la température et d'autres paramètres, tels que le volume contenant un gaz par exemple. La plupart des variables thermodynamiques du système, telles que l'énergie totale, l'entropie, l'énergie libre ou la pression peuvent être exprimées avec cette fonction et ses dérivées.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Physique des particulesLa physique des particules ou la physique subatomique est la branche de la physique qui étudie les constituants élémentaires de la matière et les rayonnements, ainsi que leurs interactions. On l'appelle aussi parfois physique des hautes énergies car de nombreuses particules élémentaires, instables, n'existent pas à l'état naturel et peuvent seulement être détectées lors de collisions à hautes énergies entre particules stables dans les accélérateurs de particules.
Physique théoriquevignette|Discussion entre physiciens théoriciens à l'École de physique des Houches. La physique théorique est la branche de la physique qui étudie l’aspect théorique des lois physiques et en développe le formalisme mathématique. C'est dans ce domaine que l'on crée les théories, les équations et les constantes en rapport avec la physique. Elle constitue un champ d'études intermédiaire entre la physique expérimentale et les mathématiques, et a souvent contribué au développement de l’une comme de l’autre.
Physique expérimentalevignette|La physique expérimentale peut parfois recourir à des instruments de très grandes dimensions : ici, construction du détecteur CMS (Compact Muon Solenoid) du Grand collisionneur de hadrons (LHC) au CERN, en 2003. Les techniciens présents en bas de l'image donnent une idée des dimensions réelles de cet ensemble (15 m de diamètre, 21 m de long, pour un poids de 14 000 tonnes) installé 100 mètres sous la surface du sol.
Entropy (classical thermodynamics)In classical thermodynamics, entropy () is a property of a thermodynamic system that expresses the direction or outcome of spontaneous changes in the system. The term was introduced by Rudolf Clausius in the mid-19th century to explain the relationship of the internal energy that is available or unavailable for transformations in form of heat and work. Entropy predicts that certain processes are irreversible or impossible, despite not violating the conservation of energy.
Physique de la matière condenséeLa physique de la matière condensée est la branche de la physique qui étudie les propriétés microscopiques et macroscopiques de la matière dans un état dit « condensé ». Ce terme doit être entendu par opposition à d'autres états de la matière, plus dilués, tels que l’état gazeux et les plasmas, ou encore par opposition à l’étude des atomes ou molécules isolés ou peu nombreux. Son objet d’étude consiste donc principalement dans les solides, ce qui explique que cette branche de la physique a longtemps été désignée par le terme de « physique des solides ».
