Méthodes de gradient adaptatif: théorie et applications

Cette séance de cours couvre les méthodes de gradient adaptatif telles que AdaGrad, RMSProp, AcceleGrad et ADAM, expliquant leurs stratégies d'adaptation, leurs ajustements par pas et leurs propriétés de convergence. Il traite également de la régularisation implicite de ces méthodes, de leurs performances de généralisation et de leur comparaison avec les algorithmes d'optimisation traditionnels. La présentation se termine par un aperçu des architectures de réseaux neuronaux et des recherches en cours sur les méthodes d’optimisation.