Explore les sous-gradients dans les fonctions convexes, mettant l'accent sur les scénarios et les propriétés des subdifférentiels non dissociables mais convexes.
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.
Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.
Introduit des ensembles et des fonctions convexes, en discutant des minimiseurs, des conditions d'optimalité et des caractérisations, ainsi que des exemples et des inégalités clés.
Explore la descente progressive stochastique avec la moyenne, la comparant avec la descente progressive, et discute des défis dans l'optimisation non convexe et les techniques de récupération clairsemées.
