Information de Fisher

En statistique, l'information de Fisher quantifie l'information relative à un paramètre contenue dans une distribution. Elle est définie comme l'espérance de l'information observée, ou encore comme la variance de la fonction de score. Dans le cas multi-paramétrique, on parle de matrice d'information de Fisher. Elle a été introduite par R.A. Fisher. Soit f(x ; θ) la distribution de vraisemblance d'une variable aléatoire X (qui peut être multidimensionnelle), paramétrée par θ. Le score est défini comme la dérivée partielle de la log-vraisemblance par rapport au paramètre θ : L'information de Fisher est alors définie comme le moment d'ordre deux de la fonction de score : Il est possible de montrer que la fonction de score a une espérance nulle. L'information de Fisher correspond par conséquent également à la variance de la fonction de score. Les différentes observations nous permettent d'échantillonner la fonction de densité de probabilité f(x ; θ). Le maximum de vraisemblance consiste à maximiser la probabilité . Si les observations sont décorrélées, la valeur la plus probable nous est donnée par le maximum de qui est aussi le maximum de Le passage en logarithme permet de transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation : Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation permet de trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche donc à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur . À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient : où est l'information de Fisher relative à θ au point de maximum de vraisemblance. Ceci signifie que θ suit en première approximation une loi gaussienne d'espérance et de variance Cette variance est appelée la borne de Cramér-Rao et constitue la meilleure précision d'estimation atteignable en absence d'a priori.