Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Sélection de caractéristiqueLa sélection de caractéristique (ou sélection d'attribut ou de variable) est un processus utilisé en apprentissage automatique et en traitement de données. Il consiste, étant donné des données dans un espace de grande dimension, à trouver un sous-sensemble de variables pertinentes. C'est-à-dire que l'on cherche à minimiser la perte d'information venant de la suppression de toutes les autres variables. C'est une méthode de réduction de la dimensionnalité. Extraction de caractéristique Catégorie:Apprentissage
Regularized least squaresRegularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.
Elastic net regularizationIn statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.
Encre de ChineL'encre de Chine est une encre noire utilisée pour l'écriture, le dessin et la peinture au lavis. Réputée venir d'Orient, Chine ou Inde, elle associe un pigment noir de carbone et un liant aqueux. L'encre de Chine proprement dite se présente sous forme de bâtons à frotter sur une pierre dans de l'eau. Elle est indélébile. Sa composition varie. À l'époque moderne, le terme « encre de Chine désigne couramment une variété plus grande encore de préparations liquides, qui partagent plus ou moins ses qualités essentielles.
Équation différentielle ordinaireEn mathématiques, une équation différentielle ordinaire (parfois simplement appelée équation différentielle et abrégée en EDO) est une équation différentielle dont la ou les fonctions inconnues ne dépendent que d'une seule variable; elle se présente sous la forme d'une relation entre ces fonctions inconnues et leurs dérivées successives. Le terme ordinaire est utilisé par opposition au terme équation différentielle partielle (plus communément équation aux dérivées partielles, ou EDP) où la ou les fonctions inconnues peuvent dépendre de plusieurs variables.
Statistical mechanicsIn physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
ThermodynamiqueLa thermodynamique est la branche de la physique qui traite de la dépendance des propriétés physiques des corps à la température, des phénomènes où interviennent des échanges thermiques, et des transformations de l'énergie entre différentes formes. La thermodynamique peut être abordée selon deux approches différentes et complémentaires : phénoménologique et statistique. La thermodynamique phénoménologique ou classique a été l'objet de nombreuses avancées dès le .
Équation différentielleEn mathématiques, une équation différentielle est une équation dont la ou les « inconnue(s) » sont des fonctions ; elle se présente sous la forme d'une relation entre ces fonctions inconnues et leurs dérivées successives. C'est un cas particulier d'équation fonctionnelle. On distingue généralement deux types d'équations différentielles : les équations différentielles ordinaires (EDO) où la ou les fonctions inconnues recherchées ne dépendent que d'une seule variable ; les équations différentielles partielles, plutôt appelées équations aux dérivées partielles (EDP), où la ou les fonctions inconnues recherchées peuvent dépendre de plusieurs variables indépendantes.
StyloLe stylo (apocope de stylographe) est un instrument, généralement de forme allongée facilitant sa préhension, qui sert à écrire ou à dessiner. Ayant l'avantage de posséder son propre réservoir d'encre, il a progressivement remplacé le porte-plume. Le mot est attesté en Grande-Bretagne dès 1882 pour un instrument à pointe tubulaire mais ne fut utilisé en France au sens d'instrument d'écriture qu'à partir de 1907. Il ne figure cependant pas encore dans le Larousse élémentaire illustré de 1918.
Équation différentielle linéaireUne équation différentielle linéaire est un cas particulier d'équation différentielle pour lequel on peut appliquer des procédés de superposition de solutions, et exploiter des résultats d'algèbre linéaire. De nombreuses équations différentielles de la physique vérifient la propriété de linéarité. De plus, les équations différentielles linéaires apparaissent naturellement en perturbant une équation différentielle (non linéaire) autour d'une de ses solutions.
Équation différentielle homogèneL'expression équation différentielle homogène a deux significations totalement distinctes et indépendantes. Une équation différentielle du premier ordre mais non nécessairement linéaire est dite homogène de degré n si elle peut s'écrire sous la forme où F est une fonction homogène de degré n, c'est-à-dire vérifiant Autrement dit (en posant h(u)=F(1,u)), c'est une équation qui s'écrit Le cas le plus étudié est celui où le degré d'homogénéité est 0, à tel point que dans ce cas on ne mentionne même pas le degré.
Deuxième principe de la thermodynamiqueLe deuxième principe de la thermodynamique (également connu sous le nom de deuxième loi de la thermodynamique ou principe de Carnot) établit l'irréversibilité des phénomènes physiques, en particulier lors des échanges thermiques. C'est un principe d'évolution qui fut énoncé pour la première fois par Sadi Carnot en 1824. Il a depuis fait l'objet de nombreuses généralisations et formulations successives par Clapeyron (1834), Clausius (1850), Lord Kelvin, Ludwig Boltzmann en 1873 et Max Planck (voir Histoire de la thermodynamique et de la mécanique statistique), tout au long du et au-delà jusqu'à nos jours.
Entropy (statistical thermodynamics)The concept entropy was first developed by German physicist Rudolf Clausius in the mid-nineteenth century as a thermodynamic property that predicts that certain spontaneous processes are irreversible or impossible. In statistical mechanics, entropy is formulated as a statistical property using probability theory. The statistical entropy perspective was introduced in 1870 by Austrian physicist Ludwig Boltzmann, who established a new field of physics that provided the descriptive linkage between the macroscopic observation of nature and the microscopic view based on the rigorous treatment of large ensembles of microstates that constitute thermodynamic systems.
Maximum entropy thermodynamicsIn physics, maximum entropy thermodynamics (colloquially, MaxEnt thermodynamics) views equilibrium thermodynamics and statistical mechanics as inference processes. More specifically, MaxEnt applies inference techniques rooted in Shannon information theory, Bayesian probability, and the principle of maximum entropy. These techniques are relevant to any situation requiring prediction from incomplete or insufficient data (e.g., , signal processing, spectral analysis, and inverse problems).
Chronologie de la thermodynamique et de la physique statistique150px|right|thumb|Ludwig Boltzmann Cet article présente une frise chronologique des évènements notables de l'histoire de la thermodynamique, de la physique statistique et des processus stochastiques. – Certains philosophes de la Grèce antique, et notamment Empédocle, plaident pour une décomposition du monde en quatre éléments fondamentaux : l'eau, la terre, l'air et le feu. – Leucippe et Démocrite fondent l'atomisme. – Lucrèce écrit un poème intitulé De natura rerum décrivant la pensée d'Épicure.
Équation différentielle à retardEn mathématiques, les équations différentielles à retard (EDR) sont un type d'équation différentielle dans laquelle la dérivée de la fonction inconnue à un certain instant est donnée en fonction des valeurs de la fonction aux instants précédents. Les EDR sont également appelés des systèmes à retard, systèmes avec effet secondaire ou temps mort, systèmes héréditaires, équations à argument déviant, ou équations aux différences différentielles .
Principes de la thermodynamiquevignette|Entropie d'un corps à 0 K (à gauche) Corps avec une température supérieur à 0 K (à droite) Les principes de la thermodynamique sont les principales lois (principes en fait, car non démontrés) qui régissent la thermodynamique : premier principe de la thermodynamique : principe de conservation de l'énergie ; introduction de la fonction énergie interne, U ; deuxième principe de la thermodynamique : principe d'évolution ; création d'entropie, S ; troisième principe de la thermodynamique ou principe de N
Dégénérescence (physique quantique)En physique quantique, la dégénérescence est le fait pour plusieurs états quantiques distincts de se retrouver au même niveau d'énergie. Un niveau d'énergie est dit dégénéré s'il correspond à plusieurs états distincts d'un atome, molécule ou autre système quantique. Le nombre d'états différents qui correspond à un niveau donné est dit son degré de dégénérescence. Mathématiquement, la dégénérescence est décrite par un opérateur hamiltonien ayant plusieurs fonctions propres avec la même valeur propre.
Équation différentielle stochastiqueUne équation différentielle stochastique (EDS) est une généralisation de la notion d'équation différentielle prenant en compte un terme de bruit blanc. Les EDS permettent de modéliser des trajectoires aléatoires, tels des cours de bourse ou les mouvements de particules soumises à des phénomènes de diffusion. Elles permettent aussi de traiter théoriquement ou numériquement des problèmes issus de la théorie des équations aux dérivées partielles.
