Algorithme de Gauss-Newton

En mathématiques, l'algorithme de Gauss-Newton est une méthode de résolution des problèmes de moindres carrés non linéaires. Elle peut être vue comme une modification de la méthode de Newton dans le cas multidimensionnel afin de trouver le minimum d'une fonction (à plusieurs variables). Mais l'algorithme de Gauss-Newton est totalement spécifique à la minimisation d'une somme de fonctions au carré et présente le grand avantage de ne pas nécessiter les dérivées secondes, parfois complexes à calculer. Les problèmes de moindres carrés non linéaires surviennent par exemple dans les problèmes de régressions non linéaires, où des paramètres du modèle sont recherchés afin de correspondre au mieux aux observations disponibles. Cette méthode est due à Carl Friedrich Gauss. Soit m fonctions () de n variables avec m≥n, l'algorithme de Gauss–Newton doit trouver le minimum de la somme des carrés : En supposant une valeur initiale β0 du minimum, la méthode procède par itérations: où l'incrément δβ vérifie les équations normales Ici, on note par r le vecteur des fonctions r, et par J la matrice jacobienne m × n de r par rapport à β, tous les deux évalués en βs. La matrice transposée est notée à l'aide de l'exposant T. Dans les problèmes d'ajustement des données, où le but est de trouver les paramètres β d'un certain modèle y = f(x , β) permettant le meilleur ajustement aux observations (x, y), les fonctions r sont les résidus En notant f le vecteur des fonctions , alors l'incrément δβ peut s'exprimer en fonction de la jacobienne de f (et du vecteur r) : Dans tous les cas, une fois connue l'estimation à l'étape s, les équations normales permettent de trouver l'estimation à l'étape suivante ; pour résumer, on a : L'ensemble du terme de droite est calculable car ne dépend que de β et permet de trouver l'estimation suivante. L'hypothèse m ≥ n est nécessaire, car dans le cas contraire la matrice JJ serait non inversible et les équations normales ne pourraient être résolues. L'algorithme de Gauss–Newton peut être dérivé par approximation linéaire du vecteur de fonctions r.