Entropy (statistical thermodynamics)The concept entropy was first developed by German physicist Rudolf Clausius in the mid-nineteenth century as a thermodynamic property that predicts that certain spontaneous processes are irreversible or impossible. In statistical mechanics, entropy is formulated as a statistical property using probability theory. The statistical entropy perspective was introduced in 1870 by Austrian physicist Ludwig Boltzmann, who established a new field of physics that provided the descriptive linkage between the macroscopic observation of nature and the microscopic view based on the rigorous treatment of large ensembles of microstates that constitute thermodynamic systems.
Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Statistical mechanicsIn physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
ThermodynamiqueLa thermodynamique est la branche de la physique qui traite de la dépendance des propriétés physiques des corps à la température, des phénomènes où interviennent des échanges thermiques, et des transformations de l'énergie entre différentes formes. La thermodynamique peut être abordée selon deux approches différentes et complémentaires : phénoménologique et statistique. La thermodynamique phénoménologique ou classique a été l'objet de nombreuses avancées dès le .
Elastic net regularizationIn statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.
Loi de distribution des vitesses de MaxwellEn théorie cinétique des gaz, la loi de distribution de vitesses de Maxwell quantifie la répartition statistique des vitesses des particules dans un gaz homogène à l'équilibre thermodynamique. Les vecteurs vitesse des particules suivent une loi normale. Cette loi a été établie par James Clerk Maxwell en 1860 et confirmée ultérieurement par Ludwig Boltzmann à partir de bases physiques qui fondent la physique statistique en 1872 et 1877.
Distribution de BoltzmannEn physique statistique, la distribution de Boltzmann prédit la fonction de distribution pour le nombre fractionnaire de particules Ni / N occupant un ensemble d'états i qui ont chacun pour énergie Ei : où est la constante de Boltzmann, T est la température (postulée comme étant définie très précisément), est la dégénérescence, ou le nombre d'états d'énergie , N est le nombre total de particules : et Z(T) est appelée fonction de partition, qui peut être considérée comme égale à : D'autre part, pour un systè
Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Maximum entropy thermodynamicsIn physics, maximum entropy thermodynamics (colloquially, MaxEnt thermodynamics) views equilibrium thermodynamics and statistical mechanics as inference processes. More specifically, MaxEnt applies inference techniques rooted in Shannon information theory, Bayesian probability, and the principle of maximum entropy. These techniques are relevant to any situation requiring prediction from incomplete or insufficient data (e.g., , signal processing, spectral analysis, and inverse problems).
Deuxième principe de la thermodynamiqueLe deuxième principe de la thermodynamique (également connu sous le nom de deuxième loi de la thermodynamique ou principe de Carnot) établit l'irréversibilité des phénomènes physiques, en particulier lors des échanges thermiques. C'est un principe d'évolution qui fut énoncé pour la première fois par Sadi Carnot en 1824. Il a depuis fait l'objet de nombreuses généralisations et formulations successives par Clapeyron (1834), Clausius (1850), Lord Kelvin, Ludwig Boltzmann en 1873 et Max Planck (voir Histoire de la thermodynamique et de la mécanique statistique), tout au long du et au-delà jusqu'à nos jours.
Chronologie de la thermodynamique et de la physique statistique150px|right|thumb|Ludwig Boltzmann Cet article présente une frise chronologique des évènements notables de l'histoire de la thermodynamique, de la physique statistique et des processus stochastiques. – Certains philosophes de la Grèce antique, et notamment Empédocle, plaident pour une décomposition du monde en quatre éléments fondamentaux : l'eau, la terre, l'air et le feu. – Leucippe et Démocrite fondent l'atomisme. – Lucrèce écrit un poème intitulé De natura rerum décrivant la pensée d'Épicure.
Principes de la thermodynamiquevignette|Entropie d'un corps à 0 K (à gauche) Corps avec une température supérieur à 0 K (à droite) Les principes de la thermodynamique sont les principales lois (principes en fait, car non démontrés) qui régissent la thermodynamique : premier principe de la thermodynamique : principe de conservation de l'énergie ; introduction de la fonction énergie interne, U ; deuxième principe de la thermodynamique : principe d'évolution ; création d'entropie, S ; troisième principe de la thermodynamique ou principe de N
Extensivité et intensivité (physique)Les grandeurs extensives et intensives sont des catégories de grandeurs physiques d'un système physique : une propriété est « intensive » si sa valeur ne dépend pas de la taille du système (en particulier, si sa valeur est la même en tout point d'un système homogène) : par exemple, la température ou la pression ; une propriété est « extensive » si elle est proportionnelle à une quantité caractéristique du système : par exemple, la masse ou le volume.
Équilibre thermodynamiquevignette|200px|Exemple d'équilibre thermodynamique de deux systèmes, en l'occurrence deux phases : l'équilibre liquide-vapeur du brome. En thermodynamique, un équilibre thermodynamique correspond à l'état d'un système ne subissant aucune évolution à l'échelle macroscopique. Les grandeurs intensives caractérisant ce système (notamment la pression, la température et les potentiels chimiques) sont alors homogènes dans l'espace et constantes dans le temps.
Variables conjuguées (thermodynamique)En thermodynamique, l'énergie interne d'un système est exprimé à travers un couple de grandeurs physiques appelé variables conjuguées. Ce couple de deux variables vérifie les propriétés suivantes : l'une est intensive et l'autre extensive ; leur produit est homogène à une énergie (ou parfois une puissance). Le produit de ces deux variables donne ici une énergie, ce qui s'explicite en disant que les deux variables sont « conjuguées par rapport à l'énergie ».
Ludwig BoltzmannLudwig Eduard Boltzmann (né le à Vienne, Autriche et mort le à Duino) est un physicien et philosophe autrichien. Il est considéré comme le père de la physique statistique et un fervent défenseur de l’existence des atomes. Validant l’hypothèse de Démocrite selon laquelle « la matière peut être considérée comme un ensemble d'entités indivisibles », Boltzmann, à l'aide de son équation cinétique dite « de Boltzmann », a théorisé de nombreuses équations de mécanique des fluides et de théorie cinétique des gaz.
Thermodynamique hors équilibreLa thermodynamique hors équilibre est le domaine de recherche étudiant les phénomènes de relaxation et de transport au voisinage de l'équilibre thermodynamique. Il s'agit là de phénomènes dissipatifs donc irréversibles, liés à une augmentation de l'entropie. Les méthodes présentées ici relèvent de la thermodynamique proprement dite, qui permet de donner les lois caractérisant un phénomène.
Théorème HLe théorème H est un théorème démontré par Boltzmann en 1872 dans le cadre de la théorie cinétique des gaz. Il décrit l'évolution vers l'équilibre thermodynamique d'un gaz satisfaisant à l'équation de Boltzmann et subissant des interactions élastiques. Selon ce théorème, il existe une certaine grandeur qui varie de façon monotone au cours du temps, pendant que le gaz relaxe vers l'état d'équilibre caractérisé par la loi de Maxwell pour les vitesses des particules du milieu. Cette quantité varie à l'opposé de l'entropie thermodynamique.
Équilibre chimiqueUn équilibre chimique est le résultat de deux réactions chimiques simultanées dont les effets s'annulent mutuellement. Une réaction telle que la combustion du propane avec l'oxygène, qui s'arrête lorsque l'un des réactifs est totalement épuisé, est qualifiée de réaction totale, complète ou irréversible. À contrario, une réaction comme l'estérification, aboutissant à un mélange stable dans le temps de réactifs et de produits, sans disparition totale de l'une des espèces chimiques, est qualifiée de réaction partielle, incomplète, réversible ou inversible : ce type de réaction aboutit à un équilibre chimique.
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
