Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Descente de gradient stochastique: théorie et applications

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre la théorie et les applications de la descente de gradient stochastique (SGD), en se concentrant sur le processus d'optimisation et les fondements mathématiques qui le sous-tendent. L'instructeur explique comment SGD fonctionne, ses avantages et ses implémentations pratiques dans les modèles d'apprentissage automatique.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

New Foundations

En logique mathématique, New Foundations (NF) est une théorie des ensembles axiomatique introduite par Willard Van Orman Quine en 1937, dans un article intitulé « New Foundations for Mathematical Logic », et qui a connu un certain nombre de variantes. Pour éviter le paradoxe de Russell, le principe de compréhension est restreint aux formules stratifiées, une restriction inspirée de la théorie des types, mais où la notion de type est implicite.

Logique mathématique

La logique mathématique ou métamathématique est une discipline des mathématiques introduite à la fin du , qui s'est donné comme objet l'étude des mathématiques en tant que langage. Les objets fondamentaux de la logique mathématique sont les formules représentant les énoncés mathématiques, les dérivations ou démonstrations formelles représentant les raisonnements mathématiques et les sémantiques ou modèles ou interprétations dans des structures qui donnent un « sens » mathématique générique aux formules (et parfois même aux démonstrations) comme certains invariants : par exemple l'interprétation des formules du calcul des prédicats permet de leur affecter une valeur de vérité'.

Fondements des mathématiques

Les fondements des mathématiques sont les principes de la philosophie des mathématiques sur lesquels est établie cette science. Le logicisme a été prôné notamment par Gottlob Frege et Bertrand Russell. La mathématique pure présente deux caractéristiques : la généralité de son discours et la déductibilité du discours mathématique . En ce que le discours mathématique ne prétend qu’à une vérité formelle, il est possible de réduire les mathématiques à la logique, les lois logiques étant les lois du « vrai ».

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Afficher plus

Séances de cours associées (31)

Techniques d'optimisation: Vue d'ensemble de la méthode de gradient

Discute de la méthode de gradient pour l'optimisation, en se concentrant sur son application dans l'apprentissage automatique et les conditions de convergence.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

Techniques d'optimisation : Convexity in Machine Learning

Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.

Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.

Descente de gradient stochastique: techniques d'optimisation non convexes

Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.

Afficher plus

Concepts associés (32)

Algorithme du gradient stochastique

New Foundations

Logique mathématique

Fondements des mathématiques

Algorithme du gradient

Afficher plus