Moindres carrés non linéaires

Les moindres carrés non linéaires est une forme des moindres carrés adaptée pour l'estimation d'un modèle non linéaire en n paramètres à partir de m observations (m > n). Une façon d'estimer ce genre de problème est de considérer des itérations successives se basant sur une version linéarisée du modèle initial. Méthode des moindres carrés Considérons un jeu de m couples d'observations, (x, y), (x, y),...,(x, y), et une fonction de régression du type y = f (x, β). Cette fonction dépend des explicatives x mais aussi du vecteur des n paramètres β = (β, β, ..., β) avec m ≥ n. On souhaite trouver le vecteur de paramètres β qui ajuste au mieux les données, au sens des moindres carrés : est minimisée en β, où les résidus ri sont donnés par Le minimum de la somme des carrés des résidus S est atteint lorsque le gradient s'annule (condition nécessaire). Puisque le problème est formulé avec n paramètres, il y a donc n équations normales : Dans un système non linéaire, les dérivées dépendent aussi bien des variables explicatives que des paramètres : il faut donc renoncer à résoudre les équations normales aussi simplement que dans le cas linéaire. On a alors recours à une résolution numérique, à l'aide d'un procédé itératif qui fournit des approximations successives β de plus en plus proches de la vraie valeur (inconnue) des paramètres, β. À chaque itération, le modèle initial est linéarisé par un développement de Taylor autour de β comme suit : La matrice jacobienne J dépend des données et de l'approximation en cours, aussi change-t-elle d'une itération à l'autre. Ainsi, en termes du modèle linéarisé, et les résidus sont donnés par Les équations normales deviennent ou encore Matriciellement, on en arrive à La linéarisation permet donc d'écrire : Il faut remarquer que l'ensemble du terme de droite dépend seulement de l'itération en cours, à savoir β, et permet donc de trouver la prochaine itération β.