Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Gradientvignette|Chaque champ scalaire est représenté par un dégradé (blanc = valeur basse, noir = valeur haute). Chaque gradient est un champ vectoriel, représenté par des flèches bleues ; chacune pointe dans la direction où le champ scalaire croît le plus vite. vignette|La fonction à deux variables f(x, y) = xe−(x2 + y2) correspond à la température (bleu = valeur basse = froid, rouge = valeur haute = chaud). Le gradient de f est un champ vectoriel, représenté par les flèches bleues ; chacune pointe dans la direction où la température croît le plus vite.
Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
SmoothnessIn mathematical analysis, the smoothness of a function is a property measured by the number of continuous derivatives it has over some domain, called differentiability class. At the very minimum, a function could be considered smooth if it is differentiable everywhere (hence continuous). At the other end, it might also possess derivatives of all orders in its domain, in which case it is said to be infinitely differentiable and referred to as a C-infinity function (or function).
Learning rateIn machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.
Espace localement convexeEn mathématiques, un espace localement convexe est un espace vectoriel topologique dont la topologie peut être définie à l'aide d'une famille de semi-normes. C'est une généralisation de la notion d'espace normé. Un espace vectoriel topologique E est dit localement convexe s'il vérifie l'une des deux propriétés équivalentes suivantes : il existe une famille de semi-normes telle que la topologie de E est initiale pour l'ensemble d'applications ; le vecteur nul possède une base de voisinages formée de convexes.
DérivabilitéUne fonction réelle d'une variable réelle est dérivable en un point a quand elle admet une dérivée finie en a, c'est-à-dire, intuitivement, quand elle peut être approchée de manière assez fine par une fonction affine au voisinage de a. Elle est dérivable sur un intervalle réel ouvert non vide si elle est dérivable en chaque point de cet intervalle. Elle est dérivable sur un intervalle réel fermé et borné (c'est-à-dire sur un segment réel) non réduit à un point si elle est dérivable sur l'intérieur de cet intervalle et dérivable à droite en sa borne gauche, et dérivable à gauche en sa borne droite.
Apprentissage profondL'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Variété différentielleEn mathématiques, les variétés différentielles ou variétés différentiables sont les objets de base de la topologie différentielle et de la géométrie différentielle. Il s'agit de variétés, « espaces courbes » localement modelés sur l'espace euclidien de dimension n, sur lesquelles il est possible de généraliser une bonne part des opérations du calcul différentiel et intégral. Une variété différentielle se définit donc d'abord par la donnée d'une variété topologique, espace topologique localement homéomorphe à l'espace R.
Majorant ou minorantEn mathématiques, soient (E , ≤) un ensemble ordonné et F une partie de E ; un élément x de E est : un majorant de F s'il est supérieur ou égal, par la relation binaire définie au préalable, à tous les éléments de F : ; un minorant de F s'il est inférieur ou égal, par la relation binaire définie au préalable, à tous les éléments de F :. Si F possède un majorant x alors on dit que F est une partie majorée. Si F possède un minorant x alors on dit que F est une partie minorée.
Fonction régulière non analytiqueEn mathématiques, les fonctions régulières (i.e. les fonctions indéfiniment dérivables) et les fonctions analytiques sont deux types courants et d'importance parmi les fonctions. Si on peut prouver que toute fonction analytique réelle est régulière, la réciproque est fausse. Une des applications des fonctions régulières à support compact est la construction de fonctions régularisantes, qui sont utilisées dans la théorie des fonctions généralisées, telle la théorie des distributions de Laurent Schwartz.
AnthroposémiotiqueAnthroposémiotique est un synonyme rare de communication humaine, formé dans les années 1970 sur les racines grecques anthropo, désignant l'espèce humaine, et sémio, désignant les signes. Un premier courant trouve ses racines contemporaines chez l'anthropologue Grégory Bateson qui a fondé au le courant de pensée connu en France sous le nom de Ecole de Palo Alto. Il est revisité au en France par Béatrice Galinon-Mélénec via le paradigme de l'"Ichnos-Anthropos" ("Homme-trace") qui analyse la perception et l'interprétation des signes par un humain dont la relation au monde est filtrée par un "corps-trace" non dualiste (corps et esprit).
Méthode d'EulerEn mathématiques, la méthode d'Euler, nommée ainsi en l'honneur du mathématicien Leonhard Euler (1707 — 1783), est une procédure numérique pour résoudre par approximation des équations différentielles du premier ordre avec une condition initiale. C'est la plus simple des méthodes de résolution numérique des équations différentielles. thumb|Illustration de la méthode d'Euler explicite : l'avancée se fait par approximation sur la tangente au point initial.
Fonction de plusieurs variables complexesLa théorie des fonctions de plusieurs variables complexes est une branche des mathématiques traitant des fonctions à variables complexes. On définit de cette manière une fonction de Cn dans C, dont on peut noter les variables . L'analyse complexe correspond au cas . H. Cartan: Théorie élémentaire des fonctions analytiques d'une ou plusieurs variables complexes. Hermann, Paris, 1961. C. Laurent-Thiébaut : Théorie des fonctions holomorphes de plusieurs variables. EDP Sciences, 1997. V.S.
Borne supérieure et borne inférieureEn mathématiques, les notions de borne supérieure et borne inférieure d'un ensemble de nombres réels interviennent en analyse, comme cas particulier de la définition générale suivante : la borne supérieure (ou le supremum) d'une partie d'un ensemble (partiellement) ordonné est le plus petit de ses majorants. Une telle borne n'existe pas toujours, mais si elle existe alors elle est unique. Elle n'appartient pas nécessairement à la partie considérée. Dualement, la borne inférieure (ou l'infimum) d'une partie est le plus grand de ses minorants.
CommunicationLa communication est l'ensemble des interactions avec un tiers humain ou animal qui véhiculent une ou plusieurs informations. En dehors de la communication animale, on distingue chez l'être humain, la communication interpersonnelle, la communication de groupe et la communication de masse, c'est-à-dire de l'ensemble des moyens et techniques permettant la diffusion du message d'une organisation sociale auprès d'une large audience. Plusieurs disciplines emploient la notion de communication sans s'accorder sur une définition commune.
Calcul des prédicatsEn logique mathématique, le calcul des prédicats du premier ordre, ou calcul des relations, logique quantificationnelle, ou tout simplement calcul des prédicats, est un système formel utilisé pour raisonner et décrire des énoncés en mathématiques, informatique, intelligence artificielle, philosophie et linguistique. Il a été proposé par Gottlob Frege une formalisation du langage des mathématiques entre la fin du et le début du .
Fonction convexevignette|upright=1.5|droite|Fonction convexe. En mathématiques, une fonction réelle d'une variable réelle est dite convexe : si quels que soient deux points et du graphe de la fonction, le segment est entièrement situé au-dessus du graphe, c’est-à-dire que la courbe représentative de la fonction se situe toujours en dessous de ses cordes ; ou si l'épigraphe de la fonction (l'ensemble des points qui sont au-dessus de son graphe) est un ensemble convexe ; ou si vu d'en dessous, le graphe de la fonction est en bosse.
Distribution (mathématiques)En analyse mathématique, une distribution (également appelée fonction généralisée) est un objet qui généralise la notion de fonction et de mesure. La théorie des distributions étend la notion de dérivée à toutes les fonctions localement intégrables et au-delà, et est utilisée pour formuler des solutions à certaines équations aux dérivées partielles. Elles sont importantes en physique et en ingénierie où beaucoup de problèmes discontinus conduisent naturellement à des équations différentielles dont les solutions sont des distributions plutôt que des fonctions ordinaires.
