Techniques d'optimisation: Descente de gradient stochastique et au-delà
Graph Chat
Chattez avec Graph Search
Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.
AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.
Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.
Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.
Couvre l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la descente par gradient pour la régression linéaire et logistique, la descente par gradient stochastique et des considérations pratiques.
Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.
Explore les réseaux profonds et convolutifs, couvrant la généralisation, l'optimisation et les applications pratiques dans l'apprentissage automatique.
Explore les techniques de réduction de la variance dans l'apprentissage profond, couvrant la descente en gradient, la descente en gradient stochastique, la méthode SVRG, et la comparaison des performances des algorithmes.
Explore l'optimisation non convexe dans l'apprentissage profond, couvrant les points critiques, la convergence SGD, les points de selle et les méthodes de gradient adaptatif.
La session explique comment le momentum accélère la descente du gradient, présente la théorie des gradients conjugués non linéaires sur les variétés, compare plusieurs mises à jour de la règle bêta, discute des choix ligne-recherche et des préconditionneurs, et montre comment utiliser la bibliothèque Manopt pour l'optimisation riemannienne sans Hessian explicite.
Explore l'optimisation dans la modélisation des systèmes énergétiques, couvrant les variables de décision, les fonctions objectives et les différentes stratégies avec leurs avantages et leurs inconvénients.
Introduit des opérateurs proximaux, des méthodes de gradient et une optimisation contrainte, explorant leur convergence et leurs applications pratiques.
Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
