La méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure. Dans le cas le plus courant, le modèle théorique est une famille de fonctions f (x ; θ) d’une ou plusieurs variables muettes x, indexées par un ou plusieurs paramètres θ inconnus. La méthode des moindres carrés permet de sélectionner parmi ces fonctions celle qui reproduit le mieux les données expérimentales. On parle dans ce cas d’ajustement par la méthode des moindres carrés. Si les paramètres θ ont un sens physique, la procédure d’ajustement donne également une estimation indirecte de la valeur de ces paramètres. La méthode consiste en une prescription (initialement empirique), qui est que la fonction f (x ; θ) qui décrit « le mieux » les données est celle qui minimise la somme quadratique des déviations des mesures aux prédictions de f (x ; θ). Si, par exemple, on dispose de N mesures (y), les paramètres θ « optimaux » au sens de la méthode des moindres carrés sont ceux qui minimisent la quantité : où les r(θ) sont les résidus du modèle, i.e. r(θ) est l'écart entre la mesure y et la prédiction f (x ; θ) donnée par le modèle. S(θ) peut être considéré comme une mesure du carré de la distance entre les données expérimentales et le modèle théorique qui prédit ces données. La prescription des moindres carrés commande que cette distance soit minimale. Si, comme c'est généralement le cas, on dispose d'une estimation de l'écart-type σ du bruit qui affecte chaque mesure y, on l'utilise pour « pondérer » la contribution de la mesure au χ.