Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Dimension critiqueIn the renormalization group analysis of phase transitions in physics, a critical dimension is the dimensionality of space at which the character of the phase transition changes. Below the lower critical dimension there is no phase transition. Above the upper critical dimension the critical exponents of the theory become the same as that in mean field theory. An elegant criterion to obtain the critical dimension within mean field theory is due to V. Ginzburg.
Optimisation convexevignette|320x320px|Optimisation convexe dans un espace en deux dimensions dans un espace contraint L'optimisation convexe est une sous-discipline de l'optimisation mathématique, dans laquelle le critère à minimiser est convexe et l'ensemble admissible est convexe. Ces problèmes sont plus simples à analyser et à résoudre que les problèmes d'optimisation non convexes, bien qu'ils puissent être NP-difficile (c'est le cas de l'optimisation copositive). La théorie permettant d'analyser ces problèmes ne requiert pas la différentiabilité des fonctions.
Learning rateIn machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.
Écart typethumb|Exemple de deux échantillons ayant la même moyenne (100) mais des écarts types différents illustrant l'écart type comme mesure de la dispersion autour de la moyenne. La population rouge a un écart type (SD = standard deviation) de 10 et la population bleue a un écart type de 50. En mathématiques, l’écart type (aussi orthographié écart-type) est une mesure de la dispersion des valeurs d'un échantillon statistique ou d'une distribution de probabilité.
Mathématiques discrètesLes mathématiques discrètes, parfois appelées mathématiques finies, sont l'étude des structures mathématiques fondamentalement discrètes, par opposition aux structures continues. Contrairement aux nombres réels, qui ont la propriété de varier "en douceur", les objets étudiés en mathématiques discrètes (tels que les entiers relatifs, les graphes simples et les énoncés en logique) ne varient pas de cette façon, mais ont des valeurs distinctes séparées.
Matrice (mathématiques)thumb|upright=1.5 En mathématiques, les matrices sont des tableaux d'éléments (nombres, caractères) qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire. Toutes les disciplines étudiant des phénomènes linéaires utilisent les matrices. Quant aux phénomènes non linéaires, on en donne souvent des approximations linéaires, comme en optique géométrique avec les approximations de Gauss.
Limite (mathématiques)En analyse mathématique, la notion de limite décrit l’approximation des valeurs d'une suite lorsque l'indice tend vers l’infini, ou d'une fonction lorsque la variable se rapproche d’un point (éventuellement infini) au bord du domaine de définition. Si une telle limite existe dans l’ensemble d’arrivée, on dit que la suite ou la fonction est convergente (au point étudié). Si ce n’est pas le cas, elle est divergente, comme dans le cas de suites et fonctions périodiques non constantes (telle la fonction sinus en +∞).
Réduction de la varianceLa réduction de la variance regroupe l'ensemble des techniques, plus ou moins simples, qui permettent de réduire la variance des estimateurs de Monte-Carlo. En voici une courte liste : Variable antithétique : on introduit une seconde variable aléatoire très fortement négativement corrélée avec la première, permettant de réduire la variance. L'élément clef est la formule suivante, valable pour deux variables : Variable de contrôle : on introduit une variable tierce, dite variable de contrôle, et on construit une nouvelle classe d'estimateurs, dépendant d'un paramètre c.
Mathématiques appliquéesvignette|280px|En théorie des graphes, principales topologies typiques de graphes. Les mathématiques appliquées sont une branche des mathématiques qui s'intéresse à l'application du savoir mathématique aux autres domaines.
Histoire des mathématiquesL’histoire des mathématiques s'étend sur plusieurs millénaires et dans de nombreuses régions du globe allant de la Chine à l’Amérique centrale. Jusqu'au , le développement des connaissances mathématiques s’effectue essentiellement de façon cloisonnée dans divers endroits du globe. À partir du et surtout au , le foisonnement des travaux de recherche et la mondialisation des connaissances mènent plutôt à un découpage de cette histoire en fonction des domaines mathématiques.
