Rétropropagation du gradient

En intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale. De façon abusive, on appelle souvent « technique de rétropropagation du gradient » l'algorithme classique de correction des erreurs reposant sur le calcul du gradient grâce à la rétropropagation. C'est cette méthode qui est présentée ici. La correction des erreurs peut se faire selon d'autres méthodes, par exemple le calcul de la dérivée seconde. Ce principe fonde les méthodes de type algorithme du gradient, qui sont utilisées dans des réseaux de neurones multicouches comme les perceptrons multicouches. L'algorithme du gradient a pour but de converger de manière itérative vers une configuration optimale des poids synaptiques. Cette configuration peut être un minimum local de la fonction dite fonction de coût, ou, idéalement, le minimum global de cette fonction. Normalement, la fonction de coût est non linéaire au regard des poids synaptiques. Elle dispose également d'une borne inférieure et moyennant quelques précautions lors de l'apprentissage, les procédures d'optimisation finissent par aboutir à une configuration stable au sein du réseau de neurones. La méthode de rétropropagation du gradient a fait l'objet de communications dès 1975 (Werbos), puis 1985 (Parker et LeCun), mais ce sont les travaux de Rumelhart, Hinton et Williams en 1986 qui ont suscité le véritable début de l'engouement pour cette méthode. Jürgen Schmidhuber, dans un état de l'art publié en 2015 établit que la méthode a été mise au point pour la première fois par Seppo Linnainmaa dans son mémoire de maîtrise soutenu à l'université d'Helsinki en 1970.