En analyse numérique, une méthode itérative est un procédé algorithmique utilisé pour résoudre un problème, par exemple la recherche d’une solution d’un système d'équations ou d’un problème d’optimisation. En débutant par le choix d’un point initial considéré comme une première ébauche de solution, la méthode procède par itérations au cours desquelles elle détermine une succession de solutions approximatives raffinées qui se rapprochent graduellement de la solution cherchée. Les points générés sont appelés des itérés.
La méthode de Jacobi, due au mathématicien allemand Karl Jacobi, est une méthode itérative de résolution d'un système matriciel de la forme Ax = b. Pour cela, on utilise une suite x qui converge vers un point fixe x, solution du système d'équations linéaires. On cherche à construire, pour x donné, la suite x = F(x) avec . où est une matrice inversible. où F est une fonction affine. La matrice B = MN est alors appelée matrice de Jacobi.
La méthode de dichotomie ou méthode de la bissection est, en mathématiques, un algorithme de recherche d'un zéro d'une fonction qui consiste à répéter des partages d’un intervalle en deux parties puis à sélectionner le sous-intervalle dans lequel existe un zéro de la fonction. On considère deux nombres réels a et b et une fonction réelle f continue sur l'intervalle [a, b] telle que f(a) et f(b) soient de signes opposés. Supposons que nous voulions résoudre l'équation f(x) = 0.
En analyse numérique, la méthode de la sécante est un algorithme de recherche d'un zéro d'une fonction f. La méthode de la sécante est une méthode comparable à celle de Newton, où l'on remplace par On obtient la relation de récurrence : L'initialisation nécessite deux points x0 et x1, proches, si possible, de la solution recherchée. Il n'est pas nécessaire que x0 et x1 encadrent une racine de f. La méthode de la sécante peut aussi être vue comme une généralisation de la méthode de la fausse position, où les calculs sont itérés.
vignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).