Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
Méthode itérativeEn analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.
PréconditionneurEn algèbre linéaire et en analyse numérique, un préconditionneur d'une matrice est une matrice telle que le conditionnement de est plus petit que celui de . Le préconditionnement est surtout utilisé dans les méthodes itératives pour la résolution d'un système linéaire (méthode du gradient, méthode du gradient conjugué, ...). Au lieu de résoudre, on préfère résoudre qui permet de diminuer considérablement le nombre d'itérations dans la méthode de résolution (itérative). On dit que le système est "mieux" conditionné.
Algorithme de LanczosEn algèbre linéaire, l’algorithme de Lanczos (ou méthode de Lanczos) est un algorithme itératif pour déterminer les valeurs et vecteurs propres d'une matrice carrée, ou la décomposition en valeurs singulières d'une matrice rectangulaire. Cet algorithme n'a pas de lien avec le fenêtrage de Lanczos (utilisé par exemple pour le redimensionnement d'images), si ce n'est que tous les deux tirent leur nom du même inventeur, le physicien et mathématicien hongrois Cornelius Lanczos.
Compacité (mathématiques)En topologie, on dit d'un espace qu'il est compact s'il est séparé et qu'il vérifie la propriété de Borel-Lebesgue. La condition de séparation est parfois omise et certains résultats demeurent vrais, comme le théorème des bornes généralisé ou le théorème de Tychonov. La compacité permet de faire passer certaines propriétés du local au global, c'est-à-dire qu'une propriété vraie au voisinage de chaque point devient valable de façon uniforme sur tout le compact.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Espace localement compactEn topologie, un espace localement compact est un espace séparé qui admet des voisinages compacts pour tous ses points. Un tel espace n'est pas nécessairement compact lui-même mais on peut y généraliser (au moins partiellement) beaucoup de résultats sur les espaces compacts. Ce sont aussi les espaces qu'on peut « rendre » compacts avec un point grâce à la compactification d'Alexandrov. La compacité est une source très fertile de résultats en topologie mais elle reste une propriété très contraignante.
Partie relativement compacteEn mathématiques, une partie relativement compacte d'un espace topologique X est un sous-ensemble Y de X inclus dans une partie compacte de X (pour la topologie induite). Rappelons que dans la littérature française, un compact est supposé séparé. Si X est séparé, alors une partie de X est relativement compacte (si et) seulement si son adhérence est compacte. Dans un espace métrisable X, une partie Y est relativement compacte si et seulement si toute suite dans Y possède une sous-suite qui converge dans X.
Espace σ-compactEn mathématiques, un espace topologique est dit σ-compact (ou localement compact dénombrable à l'infini) s'il est l'union dénombrable de sous-espaces compacts. Un espace est dit σ-localement compact s'il est à la fois σ-compact et localement compact. Tout espace compact est σ-compact, et tout espace σ-compact est de Lindelöf (c'est-à-dire que tout recouvrement ouvert a un sous-recouvrement dénombrable).
Compact convergenceIn mathematics compact convergence (or uniform convergence on compact sets) is a type of convergence that generalizes the idea of uniform convergence. It is associated with the compact-open topology. Let be a topological space and be a metric space. A sequence of functions is said to converge compactly as to some function if, for every compact set , uniformly on as . This means that for all compact , If and with their usual topologies, with , then converges compactly to the constant function with value 0, but not uniformly.
Multiplicateur de LagrangeEn mathématiques, et plus particulièrement en analyse, la méthode des multiplicateurs de Lagrange permet de trouver les points stationnaires (maximum, minimum...) d'une fonction dérivable d'une ou plusieurs variables, sous contraintes. On cherche à trouver l'extremum, un minimum ou un maximum, d'une fonction φ de n variables à valeurs dans les nombres réels, ou encore d'un espace euclidien de dimension n, parmi les points respectant une contrainte, de type ψ(x) = 0 où ψ est une fonction du même ensemble de départ que φ.
Dualité (optimisation)En théorie de l'optimisation, la dualité ou principe de dualité désigne le principe selon lequel les problèmes d'optimisation peuvent être vus de deux perspectives, le problème primal ou le problème dual, et la solution du problème dual donne une borne inférieure à la solution du problème (de minimisation) primal. Cependant, en général les valeurs optimales des problèmes primal et dual ne sont pas forcément égales : cette différence est appelée saut de dualité. Pour les problèmes en optimisation convexe, ce saut est nul sous contraintes.
Fonction itéréeEn mathématiques, une fonction itérée est une fonction obtenue par composition répétée d’une autre fonction avec elle-même un certain nombre de fois. La procédure consistant à appliquer la même fonction à plusieurs reprises s’appelle itération. Les fonctions itérées apparaissent en informatique, dans les systèmes dynamiques, les groupes de renormalisation et sont à la base des fractales. L’itérée, plus précisément la deuxième itérée, d’une fonction f , définie sur un ensemble X et à valeurs dans ce même ensemble X, est la fonction où note la composition de fonctions.
Espace dénombrablement compactEn mathématiques, un espace dénombrablement compact est un espace topologique dont tout recouvrement par une famille dénombrable d'ouverts possède un sous-recouvrement fini. La notion de compacité dénombrable entretient des rapports étroits avec celles de quasi-compacité et compacité et celle de compacité séquentielle. Pour un espace métrisable, ces quatre notions sont équivalentes. Soit X un espace topologique (non supposé séparé).
Fixed-point iterationIn numerical analysis, fixed-point iteration is a method of computing fixed points of a function. More specifically, given a function defined on the real numbers with real values and given a point in the domain of , the fixed-point iteration is which gives rise to the sequence of iterated function applications which is hoped to converge to a point . If is continuous, then one can prove that the obtained is a fixed point of , i.e., More generally, the function can be defined on any metric space with values in that same space.
Multigrid methodIn numerical analysis, a multigrid method (MG method) is an algorithm for solving differential equations using a hierarchy of discretizations. They are an example of a class of techniques called multiresolution methods, very useful in problems exhibiting multiple scales of behavior. For example, many basic relaxation methods exhibit different rates of convergence for short- and long-wavelength components, suggesting these different scales be treated differently, as in a Fourier analysis approach to multigrid.
Algorithme de recherche d'un zéro d'une fonctionUn algorithme de recherche d'un zéro d’une fonction est une méthode numérique ou un algorithme de recherche d’une valeur approchée d’un x vérifiant , pour une fonction donnée f. Ici, x est un nombre réel appelé zéro de f ou lorsque f est polynomiale, racine de f. Lorsque x est un vecteur, les algorithmes pour trouver x tel que sont généralement appelés « algorithmes de résolution numérique d'un système d'équations ». Ces algorithmes sont une généralisation des algorithmes de recherche d’un zéro d’une fonction et peuvent s’appliquer à des équations linéaires ou non linéaires.
Système de fonctions itéréesvignette|Attracteur de deux similitudes et . En mathématiques, un système de fonctions itérées (SFI ou encore IFS, acronyme du terme anglais Iterated Function System) est un outil pour construire des fractales. Plus précisément, l'attracteur d'un système de fonctions itérées est une forme fractale autosimilaire faite de la réunion de copies d'elle-même, chaque copie étant obtenue en transformant l'une d'elles par une fonction du système. La théorie a été formulée lors d'un séjour à l'université de Princeton par John Hutchinson en 1980.
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Classe de complexitéEn informatique théorique, et plus précisément en théorie de la complexité, une classe de complexité est un ensemble de problèmes algorithmiques dont la résolution nécessite la même quantité d'une certaine ressource. Une classe est souvent définie comme l'ensemble de tous les problèmes qui peuvent être résolus sur un modèle de calcul M, utilisant une quantité de ressources du type R, où n, est la taille de l'entrée. Les classes les plus usuelles sont celles définies sur des machines de Turing, avec des contraintes de temps de calcul ou d'espace.
