Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Point stationnaire350px|thumb|right|Les points stationnaires de la fonction sont marquées par des ronds rouges. Dans ce cas, ce sont des extrema locaux. Les carrés bleus désignent les points d'inflexion. En analyse réelle, un point stationnaire ou point critique d'une fonction dérivable d'une variable réelle est un point de son graphe où sa dérivée s'annule. Visuellement, cela se traduit par un point où la fonction arrête de croître ou de décroître. Pour une fonction de plusieurs variables réelles, un point stationnaire (critique) est un point où le gradient s'annule.
Ensemble convexeUn objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas. On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur R — en particulier dans un espace affine sur C — ou dans un ).
Enveloppe convexeL'enveloppe convexe d'un objet ou d'un regroupement d'objets géométriques est l'ensemble convexe le plus petit parmi ceux qui le contiennent. Dans un plan, l'enveloppe convexe peut être comparée à la région limitée par un élastique qui englobe tous les points qu'on relâche jusqu'à ce qu'il se contracte au maximum. L'idée serait la même dans l'espace avec un ballon qui se dégonflerait jusqu'à être en contact avec tous les points qui sont à la surface de l'enveloppe convexe.
Théorème de Fermat sur les points stationnairesEn analyse réelle, le théorème de Fermat sur les points stationnaires permet, lors de la recherche d'éventuels extrema locaux d'une fonction dérivable, de limiter l'étude aux zéros de sa dérivée et aux bornes de son ensemble de définition. L'énoncé est le suivant : La réciproque est fausse : par exemple, la fonction , en , a une dérivée nulle mais pas d'extremum local. La condition nécessaire pour un extremum local ne s'applique pas aux bornes de l'intervalle. Par exemple, la fonction admet deux extremums globaux (a fortiori locaux), atteints en 0 et 1.
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Fonction convexevignette|upright=1.5|droite|Fonction convexe. En mathématiques, une fonction réelle d'une variable réelle est dite convexe : si quels que soient deux points et du graphe de la fonction, le segment est entièrement situé au-dessus du graphe, c’est-à-dire que la courbe représentative de la fonction se situe toujours en dessous de ses cordes ; ou si l'épigraphe de la fonction (l'ensemble des points qui sont au-dessus de son graphe) est un ensemble convexe ; ou si vu d'en dessous, le graphe de la fonction est en bosse.
Point d'inflexionthumb|Représentation graphique de la fonction x ↦ x montrant un point d'inflexion aux coordonnées (0, 0). thumb|Point d'inflexion de la fonction arc tangente. En mathématiques, et plus précisément en analyse et en géométrie différentielle, un point d'inflexion est un point où s'opère un changement de concavité d'une courbe plane. En un tel point, la tangente traverse la courbe. C'est pourquoi les points d'inflexion, quand on arrive à les déterminer explicitement, aident à bien représenter l'allure de la courbe.
Régularisation (mathématiques)vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.
Théorème de Carathéodory (géométrie)vignette|Par exemple le point (1/4, 1/4) de l'enveloppe convexe des points (0, 0), (1, 0), (1, 1), (0, 1) se trouve dans l'intérieur du triangle (0, 0), (1, 0), (0, 1). Le théorème de Carathéodory est un théorème de géométrie relatif aux enveloppes convexes dans le contexte des espaces affines de dimension finie. Dans le plan, il affirme que tout point dans l'enveloppe convexe d'un ensemble de points est dans l'intérieur d'un triangle dont les sommets sont dans (l'enveloppe convexe d'un ensemble de points est l'ensemble des barycentres de trois points de ).
Gradientvignette|Chaque champ scalaire est représenté par un dégradé (blanc = valeur basse, noir = valeur haute). Chaque gradient est un champ vectoriel, représenté par des flèches bleues ; chacune pointe dans la direction où le champ scalaire croît le plus vite. vignette|La fonction à deux variables f(x, y) = xe−(x2 + y2) correspond à la température (bleu = valeur basse = froid, rouge = valeur haute = chaud). Le gradient de f est un champ vectoriel, représenté par les flèches bleues ; chacune pointe dans la direction où la température croît le plus vite.
Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Espace de Hilbertvignette|Une photographie de David Hilbert (1862 - 1943) qui a donné son nom aux espaces dont il est question dans cet article. En mathématiques, un espace de Hilbert est un espace vectoriel réel (resp. complexe) muni d'un produit scalaire euclidien (resp. hermitien), qui permet de mesurer des longueurs et des angles et de définir une orthogonalité. De plus, un espace de Hilbert est complet, ce qui permet d'y appliquer des techniques d'analyse. Ces espaces doivent leur nom au mathématicien allemand David Hilbert.
10 (nombre)Le nombre dix, noté 10 dans le système décimal, est l'entier naturel qui suit neuf et qui précède onze. Dix est le nombre de doigts de mains qu'un être humain possède généralement. Ce nombre occupe une place importante dans le calcul numérique traditionnel et la vie quotidienne car il a été choisi comme base pour le système de numération écrite. Ainsi s'écrit-il, dans le système décimal, 10, c’est-à-dire 1(un)0(zéro), ce qui signifie qu'il est composé dune dizaine et de zéro unité.
Méthode itérativeEn analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.
Échelle logarithmiqueUne échelle logarithmique est un système de graduation en progression géométrique. Chaque pas multiplie la valeur par une constante positive. De ce fait, la position sur l'axe d'une valeur est proportionnelle à son logarithme. Une échelle logarithmique est particulièrement adaptée pour rendre compte des ordres de grandeur dans les applications. Elle montre sur un petit espace une large gamme de valeurs, à condition qu'elles soient non nulles et de même signe.
Arnoldi iterationIn numerical linear algebra, the Arnoldi iteration is an eigenvalue algorithm and an important example of an iterative method. Arnoldi finds an approximation to the eigenvalues and eigenvectors of general (possibly non-Hermitian) matrices by constructing an orthonormal basis of the Krylov subspace, which makes it particularly useful when dealing with large sparse matrices. The Arnoldi method belongs to a class of linear algebra algorithms that give a partial result after a small number of iterations, in contrast to so-called direct methods which must complete to give any useful results (see for example, Householder transformation).
Mathématiquesthumb|upright|Raisonnement mathématique sur un tableau. Les mathématiques (ou la mathématique) sont un ensemble de connaissances abstraites résultant de raisonnements logiques appliqués à des objets divers tels que les ensembles mathématiques, les nombres, les formes, les structures, les transformations ; ainsi qu'aux relations et opérations mathématiques qui existent entre ces objets. Elles sont aussi le domaine de recherche développant ces connaissances, ainsi que la discipline qui les enseigne.
Décade (physique)Une décade est un facteur de 10 entre deux nombres. C'est un concept important dans les représentations graphiques de type logarithmiques, en particulier pour les fréquences, par exemple lorsque nous décrivons la réponse en fréquence d'un système électronique, tels qu'un amplificateur audio ou un filtre électronique. En physique, la signification est légèrement différente : elle représente l'intervalle compris entre 10D inclus et 10D+1 exclus, où D est un nombre réel quelconque.
Fonction (mathématiques)vignette|Diagramme de calcul pour la fonction En mathématiques, une fonction permet de définir un résultat (le plus souvent numérique) pour chaque valeur d’un ensemble appelé domaine. Ce résultat peut être obtenu par une suite de calculs arithmétiques ou par une liste de valeurs, notamment dans le cas de relevé de mesures physiques, ou encore par d’autres procédés comme les résolutions d’équations ou les passages à la limite. Le calcul effectif du résultat ou son approximation repose éventuellement sur l’élaboration de fonction informatique.
