Descente de gradient stochastique: théorie et applications
Graph Chat
Chattez avec Graph Search
Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.
AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.
Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.
Explore les courbes de double descente et la surparamétrisation dans les modèles d'apprentissage automatique, en soulignant les risques et les avantages.
Se penche sur l'analyse des données topologiques, en mettant l'accent sur les fondements mathématiques des réseaux neuronaux et en explorant l'hypothèse multiple et l'homologie persistante.
Explore les techniques de réduction de la variance dans l'apprentissage profond, couvrant la descente en gradient, la descente en gradient stochastique, la méthode SVRG, et la comparaison des performances des algorithmes.
Explore l'apprentissage machine contradictoire, couvrant la génération d'exemples contradictoires, les défis de robustesse et des techniques telles que la méthode Fast Gradient Sign.
Explore les functeurs, les transformations naturelles et la théorie des groupes, soulignant l'importance des comparaisons et de la préservation de la structure.
Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
La session explique comment le momentum accélère la descente du gradient, présente la théorie des gradients conjugués non linéaires sur les variétés, compare plusieurs mises à jour de la règle bêta, discute des choix ligne-recherche et des préconditionneurs, et montre comment utiliser la bibliothèque Manopt pour l'optimisation riemannienne sans Hessian explicite.
Couvre la descente du gradient stochastique, la régression linéaire, la régularisation, l'apprentissage supervisé et la nature itérative de la descente du gradient.
Plongez dans l'optimisation du deep learning, les défis, les variantes SGD, les points critiques, les réseaux surparamétrés et les méthodes adaptatives.
Couvre les méthodes de prédiction sans modèle dans l'apprentissage par renforcement, en se concentrant sur Monte Carlo et les différences temporelles pour estimer les fonctions de valeur sans connaissance de la dynamique de transition.
