Séance de cours

Preuve stochastique de convergence de descente de gradient

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre la preuve de convergence de la descente de gradient stochastique (SGD) avec des fonctions fortement convexes. Il explique les étapes pour montrer la convergence par rapport à la solution optimale, en se concentrant sur la relation récursive entre les estimations. L'instructeur présente la dérivation des termes C et D, et discute du choix de a pour atteindre une limite convergente. La séance de cours conclut en analysant l'approche de l'algorithme à la limite limite et l'impact de l'utilisation d'une taille de pas décroissante sur les propriétés de convergence.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (26)

Convergence uniforme

La convergence uniforme d'une suite de fonctions est une forme de convergence plus exigeante que la convergence simple. La convergence devient uniforme quand toutes les suites avancent vers leur limite respective avec une sorte de « mouvement d'ensemble ». Dans le cas de fonctions numériques d'une variable, la notion prend une forme d'« évidence » géométrique : le graphe de la fonction f se « rapproche » de celui de la limite. Soient X un ensemble, (Y, d) un espace métrique, et A un sous-ensemble de X.

Convergence absolue

En mathématiques, une série numérique réelle ou complexe converge absolument si, par définition, la série des valeurs absolues (ou des modules) est convergente. Cette définition peut être étendue aux séries à valeurs dans un espace vectoriel normé et complet, soit un espace de Banach. Dans tous ces contextes, cette condition est suffisante pour assurer la convergence de la série elle-même. Par analogie, l'intégrale d'une fonction à valeurs réelles ou complexes converge absolument si, par définition, l'intégrale de la valeur absolue (ou du module) de la fonction est convergente (fonction dans L1).

Opérateur borné

En mathématiques, la notion d'opérateur borné est un concept d'analyse fonctionnelle. Il s'agit d'une application linéaire L entre deux espaces vectoriels normés X et Y telle que l'image de la boule unité de X est une partie bornée de Y. On montre qu'ils s'identifient aux applications linéaires continues de X dans Y. L'ensemble des opérateurs bornés est muni d'une norme issue des normes de X et de Y, la norme d'opérateur. Une application linéaire L entre les espaces vectoriels normés X et Y est appelée opérateur borné quand l'ensemble est borné.

Fonction convexe

vignette|upright=1.5|droite|Fonction convexe. En mathématiques, une fonction réelle d'une variable réelle est dite convexe : si quels que soient deux points et du graphe de la fonction, le segment est entièrement situé au-dessus du graphe, c’est-à-dire que la courbe représentative de la fonction se situe toujours en dessous de ses cordes ; ou si l'épigraphe de la fonction (l'ensemble des points qui sont au-dessus de son graphe) est un ensemble convexe ; ou si vu d'en dessous, le graphe de la fonction est en bosse.

Espace localement convexe

En mathématiques, un espace localement convexe est un espace vectoriel topologique dont la topologie peut être définie à l'aide d'une famille de semi-normes. C'est une généralisation de la notion d'espace normé. Un espace vectoriel topologique E est dit localement convexe s'il vérifie l'une des deux propriétés équivalentes suivantes : il existe une famille de semi-normes telle que la topologie de E est initiale pour l'ensemble d'applications ; le vecteur nul possède une base de voisinages formée de convexes.

Afficher plus

Séances de cours associées (64)

Intégrabilité et convergence uniformes

Explore l'intégrabilité uniforme, les théorèmes de convergence et l'importance des séquences bornées dans la compréhension de la convergence des variables aléatoires.

Descente de gradient stochastique : analyse d’optimisation et de convergence

Explore la descente de gradient stochastique pour les fonctions non fortement convexes et l'impact de la taille des pas sur la convergence.

Espaces Normés

Couvre les espaces normés, les espaces doubles, les espaces de Banach, les espaces de Hilbert, la convergence faible et forte, les espaces réflexifs et le théorème de Hahn-Banach.

Analyse réelle : Séquences et limites

Couvre les séquences réelles, l'induction, les limites et la convergence dans l'analyse mathématique.

Série Dirichlet

Explore les propriétés de convergence de la série Dirichlet et les conditions de convergence absolue, avec des exemples et des applications.

Afficher plus

Concepts associés (26)

Espace localement convexe

Afficher plus