Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Couvre les méthodes de recherche de ligne de gradient et les techniques d'optimisation en mettant l'accent sur les conditions Wolfe et la définition positive.
Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.
Présente les méthodes Quasi-Newton pour l'optimisation, expliquant leurs avantages par rapport aux approches traditionnelles comme Gradient Descent et Newton's Method.
