Séance de cours

Descente de gradient stochastique : analyse d’optimisation et de convergence

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre la méthode d'optimisation de la descente de gradient stochastique (SGD) pour minimiser les fonctions non fortement convexes. Il explique le taux de convergence des itérations SGD et l'impact de la taille des pas sur la convergence. La séance de cours traite également de la fonction de perte Huber modifiée et de son calcul, ainsi que de la taille de pas optimale pour exécuter SGD afin de minimiser cette perte. Différents comportements de convergence sont comparés et expliqués, mettant en lumière les différences observées dans différents scénarios.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Vitesse de convergence des suites

En analyse numérique — une branche des mathématiques — on peut classer les suites convergentes en fonction de leur vitesse de convergence vers leur point limite. C'est une manière d'apprécier l'efficacité des algorithmes qui les génèrent. Les suites considérées ici sont convergentes sans être stationnaires (tous leurs termes sont même supposés différents du point limite). Si une suite est stationnaire, tous ses éléments sont égaux à partir d'un certain rang et il est alors normal de s'intéresser au nombre d'éléments différents du point limite.

Rayon de convergence

Le rayon de convergence d'une série entière est le nombre réel positif ou +∞ égal à la borne supérieure de l'ensemble des modules des nombres complexes où la série converge (au sens classique de la convergence simple): Si R est le rayon de convergence d'une série entière, alors la série est absolument convergente sur le disque ouvert D(0, R) de centre 0 et de rayon R. Ce disque est appelé disque de convergence. Cette convergence absolue entraine ce qui est parfois qualifié de convergence inconditionnelle : la valeur de la somme en tout point de ce disque ne dépend pas de l'ordre des termes.

Convergence de variables aléatoires

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires (si celle-ci existe).

Partie bornée

En mathématiques, la notion de partie bornée (ou, par raccourci, de borné) étend celle d'intervalle borné de réels à d'autres structures, notamment en topologie et en théorie des ordres. Selon les cas, la définition privilégie l'existence de bornes ponctuelles ou la négation de l'éloignement à l'infini. Une fonction bornée est une fonction dont l' est bornée dans l'ensemble d'arrivée. Un opérateur borné est un opérateur linéaire dont les images de bornés sont bornées également.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Afficher plus

Séances de cours associées (64)

Intégrabilité et convergence uniformes

Explore l'intégrabilité uniforme, les théorèmes de convergence et l'importance des séquences bornées dans la compréhension de la convergence des variables aléatoires.

Équations non linéaires : Convergence de la méthode des points fixes

Couvre la convergence des méthodes de points fixes pour les équations non linéaires, y compris les théorèmes de convergence globale et locale et lordre de convergence.

Gradient Descent Methods: Théorie et calcul

Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.

Calcul intégral multivariable

Couvre le calcul intégral multivariable, y compris les cuboïdes rectangulaires, les subdivisions, les sommes du Douboux, le théorème de Fubini et l'intégration sur des ensembles délimités.

Preuve stochastique de convergence de descente de gradient

Explore la preuve de convergence de la descente de gradient stochastique avec des fonctions fortement convexes et l'impact de la taille des pas sur les propriétés de convergence.

Afficher plus

Concepts associés (32)

Vitesse de convergence des suites

Rayon de convergence

Convergence de variables aléatoires

Partie bornée

Algorithme du gradient stochastique

Afficher plus