Séance de cours

Gradient Descent avec Momentum

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre le concept d'ajouter un terme d'élan à la descente de gradient pour accélérer le processus et réduire les oscillations. Les sujets abordés incluent le paysage des pertes, les méthodes d’optimisation, les points de selle et la mise en œuvre de l’élan dans l’apprentissage profond.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (32)

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Quadri-moment

En relativité restreinte, le quadri-moment (ou quadrivecteur impulsion ou quadri-impulsion ou quadrivecteur impulsion-énergie ou quadrivecteur énergie-impulsion) est une généralisation du moment linéaire tridimensionnel de la physique classique sous la forme d'un quadrivecteur de l'espace de Minkowski, espace-temps à 4 dimensions de la relativité restreinte. Le quadri-moment d'une particule combine le moment tridimensionnel et d'énergie : Comme tout quadrivecteur, il est covariant, c'est-à-dire que les changements de ses coordonnées lors d'un changement de référentiel inertiel se calculent à l'aide des transformations de Lorentz.

Apprentissage par renforcement profond

L'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.

Q-learning

vignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.

Afficher plus

Séances de cours associées (64)

Quantité de mouvement et 3ème loi de Newton

Explique la méthode pour résoudre les problèmes de dynamique et discute de l'élan et de la troisième loi de Newton.

Descente progressive

Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.

Transfert d'énergie dans les ondes électromagnétiques

Explore le transfert d'énergie dans les ondes électromagnétiques, y compris l'élan et la pression de rayonnement, préparant le terrain pour comprendre les interactions de la lumière avec les électrons.

Momentum et impulsion : conservation et centre de masse

Explore l'élan, l'impulsion et les principes de conservation dans des systèmes dynamiques.

Méthodes Momentum et Gradients Conjugués Non-Linéaires

La session explique comment le momentum accélère la descente du gradient, présente la théorie des gradients conjugués non linéaires sur les variétés, compare plusieurs mises à jour de la règle bêta, discute des choix ligne-recherche et des préconditionneurs, et montre comment utiliser la bibliothèque Manopt pour l'optimisation riemannienne sans Hessian explicite.

Afficher plus

Concepts associés (32)

Algorithme du gradient

Apprentissage profond

Quadri-moment

Apprentissage par renforcement profond

Q-learning

Afficher plus