Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
Méthode itérativeEn analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Méthode du gradient biconjuguéEn mathématiques, plus spécifiquement en analyse numérique, la méthode du gradient biconjugué est un algorithme permettant de résoudre un système d'équations linéaires Contrairement à la méthode du gradient conjugué, cet algorithme ne nécessite pas que la matrice soit auto-adjointe, en revanche, la méthode requiert des multiplications par la matrice adjointe . Choisir , , un préconditionneur régulier (on utilise fréquemment ) et ; for do ( et sont le résidus); .
Matrice symétriquevignette|Matrice 5x5 symétrique. Les coefficients égaux sont représentés par la même couleur. En algèbre linéaire et multilinéaire, une matrice symétrique est une matrice carrée qui est égale à sa propre transposée, c'est-à-dire telle que a = a pour tous i et j compris entre 1 et n, où les a sont les coefficients de la matrice et n est son ordre. Les coefficients d'une matrice symétrique sont symétriques par rapport à la diagonale principale (du coin en haut à gauche jusqu'à celui en bas à droite).
PréconditionneurEn algèbre linéaire et en analyse numérique, un préconditionneur d'une matrice est une matrice telle que le conditionnement de est plus petit que celui de . Le préconditionnement est surtout utilisé dans les méthodes itératives pour la résolution d'un système linéaire (méthode du gradient, méthode du gradient conjugué, ...). Au lieu de résoudre, on préfère résoudre qui permet de diminuer considérablement le nombre d'itérations dans la méthode de résolution (itérative). On dit que le système est "mieux" conditionné.
Definite matrixIn mathematics, a symmetric matrix with real entries is positive-definite if the real number is positive for every nonzero real column vector where is the transpose of . More generally, a Hermitian matrix (that is, a complex matrix equal to its conjugate transpose) is positive-definite if the real number is positive for every nonzero complex column vector where denotes the conjugate transpose of Positive semi-definite matrices are defined similarly, except that the scalars and are required to be positive or zero (that is, nonnegative).
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Matrice antisymétriqueEn mathématiques, et plus précisément en algèbre linéaire, une matrice antisymétrique est une matrice carrée opposée à sa transposée. Une matrice carrée A à coefficients dans un anneau quelconque est dite antisymétrique si sa transposée est égale à son opposée, c'est-à-dire si elle satisfait à l'équation : A = –A ou encore, en l'écrivant avec des coefficients sous la forme A = (ai,j), si : pour tout i et j, aj,i = –ai,j Les matrices suivantes sont antisymétriques : Le cas où la matrice est à coefficients dans un anneau de caractéristique 2 est très particulier.
Méthode de Newtonvignette|Une itération de la méthode de Newton. En analyse numérique, la méthode de Newton ou méthode de Newton-Raphson est, dans son application la plus simple, un algorithme efficace pour trouver numériquement une approximation précise d'un zéro (ou racine) d'une fonction réelle d'une variable réelle. Cette méthode doit son nom aux mathématiciens anglais Isaac Newton (1643-1727) et Joseph Raphson (peut-être 1648-1715), qui furent les premiers à la décrire pour la recherche des solutions d'une équation polynomiale.
Point stationnaire350px|thumb|right|Les points stationnaires de la fonction sont marquées par des ronds rouges. Dans ce cas, ce sont des extrema locaux. Les carrés bleus désignent les points d'inflexion. En analyse réelle, un point stationnaire ou point critique d'une fonction dérivable d'une variable réelle est un point de son graphe où sa dérivée s'annule. Visuellement, cela se traduit par un point où la fonction arrête de croître ou de décroître. Pour une fonction de plusieurs variables réelles, un point stationnaire (critique) est un point où le gradient s'annule.
Definite quadratic formIn mathematics, a definite quadratic form is a quadratic form over some real vector space V that has the same sign (always positive or always negative) for every non-zero vector of V. According to that sign, the quadratic form is called positive-definite or negative-definite. A semidefinite (or semi-definite) quadratic form is defined in much the same way, except that "always positive" and "always negative" are replaced by "never negative" and "never positive", respectively.
Méthode de JacobiLa méthode de Jacobi, due au mathématicien allemand Karl Jacobi, est une méthode itérative de résolution d'un système matriciel de la forme Ax = b. Pour cela, on utilise une suite x qui converge vers un point fixe x, solution du système d'équations linéaires. On cherche à construire, pour x donné, la suite x = F(x) avec . où est une matrice inversible. où F est une fonction affine. La matrice B = MN est alors appelée matrice de Jacobi.
Théorème de Fermat sur les points stationnairesEn analyse réelle, le théorème de Fermat sur les points stationnaires permet, lors de la recherche d'éventuels extrema locaux d'une fonction dérivable, de limiter l'étude aux zéros de sa dérivée et aux bornes de son ensemble de définition. L'énoncé est le suivant : La réciproque est fausse : par exemple, la fonction , en , a une dérivée nulle mais pas d'extremum local. La condition nécessaire pour un extremum local ne s'applique pas aux bornes de l'intervalle. Par exemple, la fonction admet deux extremums globaux (a fortiori locaux), atteints en 0 et 1.
Square matrixIn mathematics, a square matrix is a matrix with the same number of rows and columns. An n-by-n matrix is known as a square matrix of order . Any two square matrices of the same order can be added and multiplied. Square matrices are often used to represent simple linear transformations, such as shearing or rotation. For example, if is a square matrix representing a rotation (rotation matrix) and is a column vector describing the position of a point in space, the product yields another column vector describing the position of that point after that rotation.
HermitienPlusieurs entités mathématiques sont qualifiées d'hermitiennes en référence au mathématicien Charles Hermite. Produit scalaire#Généralisation aux espaces vectoriels complexesProduit scalaire hermitien Soit E un espace vectoriel complexe. On dit qu'une application f définie sur E x E dans C est une forme sesquilinéaire à gauche si quels que soient les vecteurs X, Y, Z appartenant à E, et a, b des scalaires : f est semi-linéaire par rapport à la première variable et f est linéaire par rapport à la deuxième variable Une telle forme est dite hermitienne (ou à symétrie hermitienne) si de plus : ou, ce qui est équivalent : Elle est dite hermitienne définie positive si pour tout vecteur .
Système linéaireUn système linéaire (le terme système étant pris au sens de l'automatique, à savoir un système dynamique) est un objet du monde matériel qui peut être décrit par des équations linéaires (équations linéaires différentielles ou aux différences), ou encore qui obéit au principe de superposition : toute combinaison linéaire des variables de ce système est encore une variable de ce système. Les systèmes non linéaires sont plus difficiles à étudier que les systèmes linéaires.
Fixed-point iterationIn numerical analysis, fixed-point iteration is a method of computing fixed points of a function. More specifically, given a function defined on the real numbers with real values and given a point in the domain of , the fixed-point iteration is which gives rise to the sequence of iterated function applications which is hoped to converge to a point . If is continuous, then one can prove that the obtained is a fixed point of , i.e., More generally, the function can be defined on any metric space with values in that same space.
Point d'inflexionthumb|Représentation graphique de la fonction x ↦ x montrant un point d'inflexion aux coordonnées (0, 0). thumb|Point d'inflexion de la fonction arc tangente. En mathématiques, et plus précisément en analyse et en géométrie différentielle, un point d'inflexion est un point où s'opère un changement de concavité d'une courbe plane. En un tel point, la tangente traverse la courbe. C'est pourquoi les points d'inflexion, quand on arrive à les déterminer explicitement, aident à bien représenter l'allure de la courbe.
Système d'équations linéairesEn mathématiques et particulièrement en algèbre linéaire, un système d'équations linéaires est un système d'équations constitué d'équations linéaires qui portent sur les mêmes inconnues. Par exemple : Le problème est de trouver les valeurs des inconnues , et qui satisfassent les trois équations simultanément. La résolution des systèmes d'équations linéaires appartient aux problèmes les plus anciens dans les mathématiques et ceux-ci apparaissent dans beaucoup de domaines, comme en traitement numérique du signal, en optimisation linéaire, ou dans l'approximation de problèmes non linéaires en analyse numérique.
