Introduit les bases de l'algèbre linéaire, du calcul et de l'optimisation dans les espaces euclidien, en mettant l'accent sur la puissance de l'optimisation en tant qu'outil de modélisation.
Fournit un aperçu des techniques d'optimisation, en se concentrant sur la descente de gradient et les propriétés des fonctions convexes dans l'apprentissage automatique.
Couvre des méthodes de descente de gradient plus rapides et une descente de gradient projetée pour une optimisation contrainte dans l'apprentissage automatique.
Explore les réseaux neuronaux formés sous la descente de gradient stochastique, discutant des couches cachées, de la fonction de perte carrée et de l'évolution des particules.
Discute des techniques de réduction de la variance dans la simulation stochastique, en se concentrant sur les stratégies d'allocation et les algorithmes de génération de répliques.
Explore la somme des polynômes carrés et la programmation semi-définie dans l'optimisation polynomiale, permettant l'approximation des polynômes non convexes avec SDP convexe.