Couvre l'algorithme de descente en gradient, visant à minimiser une fonction en se déplaçant itérativement dans la direction de la diminution la plus raide.
Couvre les méthodes de recherche de ligne de gradient et les techniques d'optimisation en mettant l'accent sur les conditions Wolfe et la définition positive.
Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.
Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.
Explore le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, les avantages de la surparamétrisation et le biais implicite des algorithmes d'optimisation.
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.
Explore le modèle de perceptron multicouche, la formation, l'optimisation, le prétraitement des données, les fonctions d'activation, la rétropropagation et la régularisation.
Explore la factorisation matricielle dans les systèmes de recommandation, couvrant l'optimisation, les mesures d'évaluation et les défis liés à la mise à l'échelle.
Explore diverses approches de régularisation, y compris la quasi-norme L0 et la méthode Lasso, en discutant de la sélection des variables et des algorithmes efficaces pour l'optimisation.
