Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Batch normalizationBatch normalization (also known as batch norm) is a method used to make training of artificial neural networks faster and more stable through normalization of the layers' inputs by re-centering and re-scaling. It was proposed by Sergey Ioffe and Christian Szegedy in 2015. While the effect of batch normalization is evident, the reasons behind its effectiveness remain under discussion. It was believed that it can mitigate the problem of internal covariate shift, where parameter initialization and changes in the distribution of the inputs of each layer affect the learning rate of the network.
ThéorieUne théorie (du grec theoria, « contempler, observer, examiner ») est un ensemble cohérent, si elle prétend à la scientificité, d'explications, de notions ou d'idées sur un sujet précis, pouvant inclure des lois et des hypothèses, induites par l'accumulation de faits provenant de l'observation, l'expérimentation ou, dans le cas des mathématiques, déduites d'une base axiomatique donnée : théorie des matrices, des torseurs, des probabilités.
Optimisation multiobjectifL'optimisation multiobjectif (appelée aussi Programmation multi-objective ou optimisation multi-critère) est une branche de l'optimisation mathématique traitant spécifiquement des problèmes d'optimisation ayant plusieurs fonctions objectifs. Elle se distingue de l'optimisation multidisciplinaire par le fait que les objectifs à optimiser portent ici sur un seul problème. Les problèmes multiobjectifs ont un intérêt grandissant dans l'industrie où les responsables sont contraints de tenter d'optimiser des objectifs contradictoires.
Optimisation par essaims particulairesL'optimisation par essaims particulaires (OEP ou PSO en anglais) est une métaheuristique d'optimisation, inventée par Russel Eberhart (ingénieur en électricité) et James Kennedy (socio-psychologue) en 1995. Cet algorithme s'inspire à l'origine du monde du vivant. Il s'appuie notamment sur un modèle développé par Craig Reynolds à la fin des années 1980, permettant de simuler le déplacement d'un groupe d'oiseaux. Une autre source d'inspiration, revendiquée par les auteurs, James Kennedy et Russel Eberhart, est la socio-psychologie.
Physique théoriquevignette|Discussion entre physiciens théoriciens à l'École de physique des Houches. La physique théorique est la branche de la physique qui étudie l’aspect théorique des lois physiques et en développe le formalisme mathématique. C'est dans ce domaine que l'on crée les théories, les équations et les constantes en rapport avec la physique. Elle constitue un champ d'études intermédiaire entre la physique expérimentale et les mathématiques, et a souvent contribué au développement de l’une comme de l’autre.
Suite (mathématiques)vignette|Exemple de suite : les points bleus représentent ses termes. En mathématiques, une suite est une famille d'éléments — appelés ses « termes » — indexée par les entiers naturels. Une suite finie est une famille indexée par les entiers strictement positifs inférieurs ou égaux à un certain entier, ce dernier étant appelé « longueur » de la suite. Lorsque tous les éléments d'une suite (infinie) appartiennent à un même ensemble , cette suite peut être assimilée à une application de dans .
Recherche empiriqueLa recherche empirique explore le monde sensible en s'appuyant sur l’expérimentation, l’observation, ainsi que sur un processus d'évaluation par les pairs qui permet de faire un tri dans les connaissances scientifiques produites et de ne garder, au fil du temps, que ce qui reste valide. Il existe deux types de sciences empiriques : les sciences humaines et sociales ainsi que les sciences naturelles. Le raisonnement empirique se déroule en différentes étapes qui se répètent, c'est pourquoi on parle même de cycle de raisonnement.
StochastiqueLe mot stochastique est synonyme d', en référence au hasard et s’oppose par définition au déterminisme. Stochastique est un terme d'origine grecque qui signifie « basé sur la conjecture ». En français, il est couramment utilisé pour décrire des phénomènes aléatoires ou imprévisibles. Dans les mathématiques et la statistique, « stochastique » fait référence à des processus qui sont déterminés par des séquences de mouvements aléatoires. Cela inclut tout ce qui est aléatoire ou imprévisible en fonction des informations actuellement disponibles.
HyperparamètreDans l'apprentissage automatique, un hyperparamètre est un paramètre dont la valeur est utilisée pour contrôler le processus d'apprentissage. En revanche, les valeurs des autres paramètres (généralement la pondération de nœuds) sont obtenues par apprentissage. Les hyperparamètres peuvent être classifiés comme étant des hyperparamètres de modèle, qui ne peuvent pas être déduits en ajustant la machine à l'ensemble d'entraînement parce qu'ils s'appliquent à la tâche de la sélection du modèle, ou des hyperparamètres d'algorithmes, qui en principe n'ont aucune influence sur la performance du modèle mais affectent la rapidité et la qualité du processus d'apprentissage.
Stochastic optimizationStochastic optimization (SO) methods are optimization methods that generate and use random variables. For stochastic problems, the random variables appear in the formulation of the optimization problem itself, which involves random objective functions or random constraints. Stochastic optimization methods also include methods with random iterates. Some stochastic optimization methods use random iterates to solve stochastic problems, combining both meanings of stochastic optimization.
Théorie supersymétrique de la dynamique stochastiqueLa théorie supersymétrique de la dynamique stochastique (TSDS) est une théorie exacte des équations différentielles (partielles) stochastiques (EDS). Elle représente une classe de modèles mathématiques très large qui décrit, en particulier, tous les systèmes dynamiques à temps continu, avec et sans bruit.
Informatique théoriquevignette|Une représentation artistique d'une machine de Turing. Les machines de Turing sont un modèle de calcul. L'informatique théorique est l'étude des fondements logiques et mathématiques de l'informatique. C'est une branche de la science informatique et la science formelle. Plus généralement, le terme est utilisé pour désigner des domaines ou sous-domaines de recherche centrés sur des vérités universelles (axiomes) en rapport avec l'informatique.
Équation différentielle stochastiqueUne équation différentielle stochastique (EDS) est une généralisation de la notion d'équation différentielle prenant en compte un terme de bruit blanc. Les EDS permettent de modéliser des trajectoires aléatoires, tels des cours de bourse ou les mouvements de particules soumises à des phénomènes de diffusion. Elles permettent aussi de traiter théoriquement ou numériquement des problèmes issus de la théorie des équations aux dérivées partielles.
Méthode de Newtonvignette|Une itération de la méthode de Newton. En analyse numérique, la méthode de Newton ou méthode de Newton-Raphson est, dans son application la plus simple, un algorithme efficace pour trouver numériquement une approximation précise d'un zéro (ou racine) d'une fonction réelle d'une variable réelle. Cette méthode doit son nom aux mathématiciens anglais Isaac Newton (1643-1727) et Joseph Raphson (peut-être 1648-1715), qui furent les premiers à la décrire pour la recherche des solutions d'une équation polynomiale.
Preuve empiriquePreuve empirique, données ou connaissance, aussi appelée expérience des sens, est un terme collectif pour désigner la connaissance ou les sources de la connaissance acquise au moyen des sens, en particulier par l'observation et l'expérimentation. Le terme vient du mot grec ancien pour expérience, ἐμπειρία (empeiría). Après Emmanuel Kant, il est habituel en philosophie d'appeler une connaissance ainsi acquise connaissance a posteriori. Cela en opposition à une connaissance a priori, connaissance accessible à partir de la pensée spéculative seule.
Percolation thresholdThe percolation threshold is a mathematical concept in percolation theory that describes the formation of long-range connectivity in random systems. Below the threshold a giant connected component does not exist; while above it, there exists a giant component of the order of system size. In engineering and coffee making, percolation represents the flow of fluids through porous media, but in the mathematics and physics worlds it generally refers to simplified lattice models of random systems or networks (graphs), and the nature of the connectivity in them.
Méthode de l'entropie croiséeLa méthode de l'entropie-croisée (CE) attribuée à Reuven Rubinstein est une méthode générale d'optimisation de type Monte-Carlo, combinatoire ou continue, et d'échantillonnage préférentiel. La méthode a été conçue à l'origine pour la simulation d'événements rares, où des densités de probabilité très faibles doivent être estimées correctement, par exemple dans l'analyse de la sécurité des réseaux, les modèles de , ou l'analyse des performances des systèmes de télécommunication.
Auto-encodeur variationnelEn apprentissage automatique, un auto-encodeur variationnel (ou VAE de l'anglais variational auto encoder), est une architecture de réseau de neurones artificiels introduite en 2013 par D. Kingma et M. Welling, appartenant aux familles des modèles graphiques probabilistes et des méthodes bayésiennes variationnelles. Les VAE sont souvent rapprochés des autoencodeurs en raison de leur architectures similaires. Leur utilisation et leur formulation mathématiques sont cependant différentes.
Convergence absolueEn mathématiques, une série numérique réelle ou complexe converge absolument si, par définition, la série des valeurs absolues (ou des modules) est convergente. Cette définition peut être étendue aux séries à valeurs dans un espace vectoriel normé et complet, soit un espace de Banach. Dans tous ces contextes, cette condition est suffisante pour assurer la convergence de la série elle-même. Par analogie, l'intégrale d'une fonction à valeurs réelles ou complexes converge absolument si, par définition, l'intégrale de la valeur absolue (ou du module) de la fonction est convergente (fonction dans L1).
