CS-439 Optimization for machine learning Summer 2024
Graph Chat
Chattez avec Graph Search
Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.
AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.
Discute des techniques d'optimisation avancées, en se concentrant sur des méthodes de descente de gradient plus rapides et projetées dans l'apprentissage automatique.
Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.
Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.
Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.
Explore les méthodes d'optimisation dans l'apprentissage automatique, en mettant l'accent sur les gradients, les coûts et les efforts informatiques pour une formation efficace des modèles.
Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.
Explore explicitement les méthodes de Runge-Kutta stabilisées et leur application aux problèmes inverses bayésiens, couvrant l'optimisation, l'échantillonnage et les expériences numériques.
Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.
Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.
Couvre les méthodes de descente de gradient pour les problèmes convexes et non convexes, y compris la minimisation convexe lisse sans contrainte, lestimation de la vraisemblance maximale, et des exemples comme la régression de crête et la classification dimage.
Couvre l'optimisation dans l'apprentissage automatique, en mettant l'accent sur la descente par gradient pour la régression linéaire et logistique, la descente par gradient stochastique et des considérations pratiques.
Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.
La session explique comment le momentum accélère la descente du gradient, présente la théorie des gradients conjugués non linéaires sur les variétés, compare plusieurs mises à jour de la règle bêta, discute des choix ligne-recherche et des préconditionneurs, et montre comment utiliser la bibliothèque Manopt pour l'optimisation riemannienne sans Hessian explicite.
Explore les bases de l'optimisation telles que les normes, la convexité et la différentiabilité, ainsi que les applications pratiques et les taux de convergence.
