Séance de cours

Gradient Descent Methods: Théorie et calcul

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre les principes des méthodes de descente itératives, en se concentrant sur la descente de gradient pour les problèmes convexes lisses et non convexes. Il explique le rôle du calcul dans les machines d'apprentissage, la stratégie itérative de base, les directions de descente et les taux de convergence de la descente du gradient. La séance de cours explore également l'interprétation géométrique de la stationnarité, les minima locaux et les défis rencontrés par les algorithmes d'optimisation itératifs. Des exemples tels que l'estimation du maximum de vraisemblance, les estimateurs M et la régression des crêtes sont utilisés pour illustrer les concepts abordés. Les taux de convergence des différentes séquences sont explorés, ce qui donne un aperçu de la vitesse de convergence des problèmes d'optimisation.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Ensemble convexe

Un objet géométrique est dit convexe lorsque, chaque fois qu'on y prend deux points et , le segment qui les joint y est entièrement contenu. Ainsi un cube plein, un disque ou une boule sont convexes, mais un objet creux ou bosselé ne l'est pas. On suppose travailler dans un contexte où le segment reliant deux points quelconques et a un sens (par exemple dans un espace affine sur R — en particulier dans un espace affine sur C — ou dans un ).

Fonction convexe

vignette|upright=1.5|droite|Fonction convexe. En mathématiques, une fonction réelle d'une variable réelle est dite convexe : si quels que soient deux points et du graphe de la fonction, le segment est entièrement situé au-dessus du graphe, c’est-à-dire que la courbe représentative de la fonction se situe toujours en dessous de ses cordes ; ou si l'épigraphe de la fonction (l'ensemble des points qui sont au-dessus de son graphe) est un ensemble convexe ; ou si vu d'en dessous, le graphe de la fonction est en bosse.

Analyse convexe

L'analyse convexe est la branche des mathématiques qui étudie les ensembles et les fonctions convexes. Cette théorie étend sur beaucoup d'aspects les concepts de l'algèbre linéaire et sert de boîte à outils en analyse et en analyse non lisse. Elle s'est beaucoup développée du fait de ses interactions avec l'optimisation, où elle apporte des propriétés particulières aux problèmes qui y sont étudiés. Certains voient la naissance de l'analyse convexe « moderne » dans l'invention des notions de sous-différentiel, d'application proximale et d'inf-convolution dans les années 1962-63.

Enseignement des mathématiques

L'enseignement des mathématiques vise à transmettre des compétences en mathématiques, le plus souvent en expliquant et en appliquant des méthodes scientifiques. Cet enseignement a fait l'objet de nombreux débats dans les sociétés modernes. vignette|Calcul mental. Dans l'école populaire de S. A. Ratchinski, peinture de Nikolaï Bogdanov-Belski, Russie, 1895. vignette|Garçon devant un tableau noir, Guinée-Bissau, 1974. Les mathématiques élémentaires font partie des programmes scolaires depuis les plus anciennes civilisations, dont la Grèce antique, l'Empire romain et l'Égypte ancienne.

Maximum de vraisemblance

En statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.

Afficher plus

Séances de cours associées (64)

Gradient Descent Méthodes

Couvre les méthodes de descente de gradient pour les problèmes convexes et non convexes, y compris la minimisation convexe lisse sans contrainte, lestimation de la vraisemblance maximale, et des exemples comme la régression de crête et la classification dimage.

Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.

Optimisation du double primaire: méthode extra-gradient

Explore la méthode Extra-Gradient pour l'optimisation Primal-dual, couvrant les problèmes non convexes, les taux de convergence et les performances pratiques.

Méthodes d'optimisation : Convexité et descente progressive

Explore les méthodes d'optimisation, y compris la convexité, la descente en gradient et la minimisation non convexe, avec des exemples comme l'estimation de la probabilité maximale et la régression des crêtes.

Optimisation des taux de convergence: descente progressive accélérée

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.

Afficher plus

Concepts associés (32)

Ensemble convexe

Fonction convexe

Analyse convexe

Enseignement des mathématiques

Maximum de vraisemblance

Afficher plus