Séance de cours

Descente de gradient stochastique: théorie et applications

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours couvre la théorie et les applications de la descente de gradient stochastique (SGD), en se concentrant sur le processus d'optimisation et les fondements mathématiques qui le sous-tendent. L'instructeur explique comment SGD fonctionne, ses avantages et ses implémentations pratiques dans les modèles d'apprentissage automatique.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

New Foundations

En logique mathématique, New Foundations (NF) est une théorie des ensembles axiomatique introduite par Willard Van Orman Quine en 1937, dans un article intitulé « New Foundations for Mathematical Logic », et qui a connu un certain nombre de variantes. Pour éviter le paradoxe de Russell, le principe de compréhension est restreint aux formules stratifiées, une restriction inspirée de la théorie des types, mais où la notion de type est implicite.

Logique mathématique

La logique mathématique ou métamathématique est une discipline des mathématiques introduite à la fin du , qui s'est donné comme objet l'étude des mathématiques en tant que langage. Les objets fondamentaux de la logique mathématique sont les formules représentant les énoncés mathématiques, les dérivations ou démonstrations formelles représentant les raisonnements mathématiques et les sémantiques ou modèles ou interprétations dans des structures qui donnent un « sens » mathématique générique aux formules (et parfois même aux démonstrations) comme certains invariants : par exemple l'interprétation des formules du calcul des prédicats permet de leur affecter une valeur de vérité'.

Fondements des mathématiques

Les fondements des mathématiques sont les principes de la philosophie des mathématiques sur lesquels est établie cette science. Le logicisme a été prôné notamment par Gottlob Frege et Bertrand Russell. La mathématique pure présente deux caractéristiques : la généralité de son discours et la déductibilité du discours mathématique . En ce que le discours mathématique ne prétend qu’à une vérité formelle, il est possible de réduire les mathématiques à la logique, les lois logiques étant les lois du « vrai ».

Algorithme d'apprentissage incrémental

En informatique, un algorithme d'apprentissage incrémental ou incrémentiel est un algorithme d'apprentissage qui a la particularité d'être online, c'est-à-dire qui apprend à partir de données reçues au fur et à mesure du temps. À chaque incrément il reçoit des données d'entrées et un résultat, l'algorithme calcule alors une amélioration du calcul fait pour prédire le résultat à partir des données d'entrées.

Philosophie des mathématiques

La philosophie des mathématiques est la branche de la philosophie des sciences qui tente de répondre aux interrogations sur les fondements des mathématiques ainsi que sur leur usage. On y croise des questions telles que : « les mathématiques sont-elles nécessaires ? », « pourquoi les mathématiques sont-elles utiles ou efficaces pour décrire la nature ? », « dans quel(s) sens, peut-on dire que les entités mathématiques existent ? » ou « pourquoi et comment peut-on dire qu'une proposition mathématique est vraie ? ».

Afficher plus

Séances de cours associées (64)

Réseaux profonds et convolutifs : généralisation et optimisation

Explore les réseaux profonds et convolutifs, couvrant la généralisation, l'optimisation et les applications pratiques dans l'apprentissage automatique.

Techniques d'optimisation: Vue d'ensemble de la méthode de gradient

Discute de la méthode de gradient pour l'optimisation, en se concentrant sur son application dans l'apprentissage automatique et les conditions de convergence.

Descente de gradient stochastique: techniques d'optimisation non convexes

Discute de la descente de gradient stochastique et de son application dans l'optimisation non convexe, en se concentrant sur les taux de convergence et les défis de l'apprentissage automatique.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

SGD et analyse moyenne sur le terrain

Explore l'analyse stochastique de la descente et du champ moyen dans les réseaux neuraux à deux couches, en mettant l'accent sur leurs processus itératifs et leurs fondements mathématiques.

Afficher plus

Concepts associés (32)

New Foundations

Logique mathématique

Fondements des mathématiques

Algorithme d'apprentissage incrémental

Philosophie des mathématiques

Afficher plus