Séance de cours

Lecture 6 (2024)

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Séances de cours associées (64)

Méthodes d'optimisation: convergence et compromis

Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.

Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.

Gradient Descent Methods: Théorie et calcul

Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.

Mathématiques des données: Optimisation des bases

Couvre les bases de l'optimisation, y compris les métriques, les normes, la convexité, les gradients et la régression logistique, en mettant l'accent sur les forts taux de convexité et de convergence.

Optimisation du double primaire: méthode extra-gradient

Explore la méthode Extra-Gradient pour l'optimisation Primal-dual, couvrant les problèmes non convexes, les taux de convergence et les performances pratiques.

Optimisation du taux de convergence : accélération de la descente en gradient

Explore l'optimalité du taux de convergence dans les techniques de descente de gradient et d'accélération pour les problèmes convexes et non convexes.

Opérateurs proximaux et optimisation contrainte

Introduit des opérateurs proximaux, des méthodes de gradient et une optimisation contrainte, explorant leur convergence et leurs applications pratiques.

Calcul des variations: jeune théorème de gradient

Couvre le jeune théorème de gradient dans le calcul des variations, en discutant des preuves et des applications.

Gradient Descent Méthodes

Couvre les méthodes de descente de gradient pour les problèmes convexes et non convexes, y compris la minimisation convexe lisse sans contrainte, lestimation de la vraisemblance maximale, et des exemples comme la régression de crête et la classification dimage.

Descente progressive stochastique: Techniques d'optimisation

Explore la descente progressive stochastique avec la moyenne, la comparant avec la descente progressive, et discute des défis dans l'optimisation non convexe et les techniques de récupération clairsemées.

De la descente progressive stochastique à l'optimisation non lissée

Couvre l'optimisation stochastique, la sparsité et la minimisation non lisses par descente subgradielle.

Théorème des fonctions implicites

Couvre le Théorème des fonctions implicites, expliquant comment les équations peuvent définir les fonctions implicitement.

Optimisation des taux de convergence: descente progressive accélérée

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.

Integrals inappropriés: Convergence et comparaison

Explore les intégrales inappropriées, les critères de convergence, les théorèmes de comparaison et la révolution solide.

Composantes principales : Propriétés et applications

Explore les principales composantes, la covariance, la corrélation, le choix et les applications dans l'analyse des données.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

Descente de gradient stochastique: techniques d'optimisation non convexes

Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.

Mathématiques des données: Rôle de calcul

Explore le rôle du calcul dans les mathématiques de données, en mettant l'accent sur les méthodes itératives, l'optimisation, les estimateurs et les principes d'ascendance.

Deep Learning Blocks Buildings

Couvre les tenseurs, les fonctions de perte, l'autograde et les couches de convolution dans l'apprentissage profond.

Primal-dual Optimization III: Méthodes de gradient lagrangien

Explore les méthodes d'optimisation primal-dual, en mettant l'accent sur les techniques de gradient lagrangien et leurs applications dans l'optimisation des données.