Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Descente de gradient stochastique : analyse d’optimisation et de convergence

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre la méthode d'optimisation de la descente de gradient stochastique (SGD) pour minimiser les fonctions non fortement convexes. Il explique le taux de convergence des itérations SGD et l'impact de la taille des pas sur la convergence. La séance de cours traite également de la fonction de perte Huber modifiée et de son calcul, ainsi que de la taille de pas optimale pour exécuter SGD afin de minimiser cette perte. Différents comportements de convergence sont comparés et expliqués, mettant en lumière les différences observées dans différents scénarios.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Rayon de convergence

Le rayon de convergence d'une série entière est le nombre réel positif ou +∞ égal à la borne supérieure de l'ensemble des modules des nombres complexes où la série converge (au sens classique de la convergence simple): Si R est le rayon de convergence d'une série entière, alors la série est absolument convergente sur le disque ouvert D(0, R) de centre 0 et de rayon R. Ce disque est appelé disque de convergence. Cette convergence absolue entraine ce qui est parfois qualifié de convergence inconditionnelle : la valeur de la somme en tout point de ce disque ne dépend pas de l'ordre des termes.

Vitesse de convergence des suites

En analyse numérique — une branche des mathématiques — on peut classer les suites convergentes en fonction de leur vitesse de convergence vers leur point limite. C'est une manière d'apprécier l'efficacité des algorithmes qui les génèrent. Les suites considérées ici sont convergentes sans être stationnaires (tous leurs termes sont même supposés différents du point limite). Si une suite est stationnaire, tous ses éléments sont égaux à partir d'un certain rang et il est alors normal de s'intéresser au nombre d'éléments différents du point limite.

Convergence de variables aléatoires

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple, la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires (si celle-ci existe).

Partie bornée

En mathématiques, la notion de partie bornée (ou, par raccourci, de borné) étend celle d'intervalle borné de réels à d'autres structures, notamment en topologie et en théorie des ordres. Selon les cas, la définition privilégie l'existence de bornes ponctuelles ou la négation de l'éloignement à l'infini. Une fonction bornée est une fonction dont l' est bornée dans l'ensemble d'arrivée. Un opérateur borné est un opérateur linéaire dont les images de bornés sont bornées également.

Convergence absolue

En mathématiques, une série numérique réelle ou complexe converge absolument si, par définition, la série des valeurs absolues (ou des modules) est convergente. Cette définition peut être étendue aux séries à valeurs dans un espace vectoriel normé et complet, soit un espace de Banach. Dans tous ces contextes, cette condition est suffisante pour assurer la convergence de la série elle-même. Par analogie, l'intégrale d'une fonction à valeurs réelles ou complexes converge absolument si, par définition, l'intégrale de la valeur absolue (ou du module) de la fonction est convergente (fonction dans L1).

Afficher plus

Séances de cours associées (46)

Équations non linéaires : Convergence de la méthode des points fixes

Couvre la convergence des méthodes de points fixes pour les équations non linéaires, y compris les théorèmes de convergence globale et locale et lordre de convergence.

Descente proximale et sous-gradiente : techniques d’optimisation

Discute des méthodes de descente proximale et sous-gradiente pour l'optimisation dans l'apprentissage automatique.

Descente de gradient plus rapide et projetée: techniques d'optimisation

Discute des techniques d'optimisation avancées, en se concentrant sur des méthodes de descente de gradient plus rapides et projetées dans l'apprentissage automatique.

Analyse réelle : Séquences et limites

Couvre les séquences réelles, l'induction, les limites et la convergence dans l'analyse mathématique.

Numerics: projet de semestre

Couvre le projet de semestre sur les chiffres, en se concentrant sur les algorithmes adaptatifs et les méthodes multi-étapes.

Afficher plus

Concepts associés (32)

Rayon de convergence

Vitesse de convergence des suites

Convergence de variables aléatoires

Partie bornée

Convergence absolue

Afficher plus