Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Apprendre à trouver un objectif

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours explore une version biologiquement inspirée de la tâche classique de l'apprentissage par renforcement, où l'instructeur discute de l'hippocampe, place des cellules dans le cerveau du rat, le Morris Water Maze, modélise une tâche de labyrinthe, la navigation de labyrinthe avec Actor-Critic, et la mise en œuvre des neurones de spiking. La séance de cours se termine par un résumé reliant l'apprentissage TD dans un cadre acteur-critique aux fonctions cérébrales et présentant la possibilité d'apprendre dans quelques essais avec une représentation sensorielle bien adaptée.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Source officielle

Proximité ontologique

Biologie

Biologie cellulaire: Neurotransmission

Concepts associés (32)

Medium spiny neuron

Medium spiny neurons (MSNs), also known as spiny projection neurons (SPNs), are a special type of GABAergic inhibitory cell representing 95% of neurons within the human striatum, a basal ganglia structure. Medium spiny neurons have two primary phenotypes (characteristic types): D1-type MSNs of the direct pathway and D2-type MSNs of the indirect pathway. Most striatal MSNs contain only D1-type or D2-type dopamine receptors, but a subpopulation of MSNs exhibit both phenotypes.

Apprentissage par renforcement

En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.

Mémoire spatiale

vignette|La mémoire spatiale est nécessaire pour naviguer dans un environnement. La mémoire spatiale est la partie de la mémoire d'un individu responsable de l'enregistrement des informations concernant l'espace environnant et l'orientation spatiale de l'individu dans celui-ci. La mémoire spatiale est ainsi requise pour la navigation spatiale dans un lieu connu, comme dans un quartier familier. Elle est étudiée en neuroscience (chez le rat) et en psychologie cognitive (chez l'homme).

Striatum

thumb|260px|Vue en 3D du striatum (en rouge). En neuroanatomie, le striatum ou néostriatum, appelé également le corps strié est une structure nerveuse subcorticale (sous le cortex) paire. Il est impliqué dans le mouvement involontaire, la motivation alimentaire ou sexuelle, la gestion de la douleur (via le système dopaminergique) et la cicatrisation voire la régénérescence de certains tissus cérébraux. Il est lié aux maladies de Parkinson, de Huntington et de Gilles de la Tourette, ainsi qu'au phénomène d'addiction.

Aire tegmentale ventrale

L'aire tegmentaire ventrale (ATV) quelquefois également appelée aire tegmentale ventrale, est constituée d'un groupe de neurones localisés dans le mésencéphale. Une majorité de ces neurones produisent le neurotransmetteur dopamine, alors que d'autres produisent du GABA ou du glutamate. Certains des neurones dopaminergiques libèrent aussi du glutamate ou du GABA, un phénomène appelé "cotransmission". Les neurones dopaminergiques de l'ATV projettent sur de nombreuses régions du cerveau en deux grandes voies : le système mésocortical et mésolimbique.

Afficher plus

Séances de cours associées (37)

L’apprentissage basé sur la récompense : les mécanismes cellulaires MOOC: Mécanismes cellulaires des fonctions cérébrales

Explore l'apprentissage basé sur la récompense dans les réseaux neuronaux et le rôle de la dopamine dans la plasticité synaptique.

Projections GABAergiques: Mécanismes Cellulaires De La Fonction Cérébrale MOOC: Mécanismes cellulaires des fonctions cérébrales

Explore les neurones de projection GABAergiques dans le cerveau et leur rôle dans la fonction cérébrale, y compris l'impact de la dopamine sur la maladie de Parkinson.

Maladie de Parkinson: Circuits de Ganglie Basale

Explore les circuits de base des ganglions dans la maladie de Parkinson, couvrant la structure, la fonction, le rôle de la dopamine, la pathologie et les traitements.

Surprise, curiosité et récompense : une perspective évolutive

Explore la perspective évolutive de la surprise, de la curiosité et de la récompense, en mettant l'accent sur le rôle des signaux de récompense primaires et secondaires.

Réseaux d'attractions et neurones à épilation MOOC: Dynamique neuronale 2- Neurosciences computationnelles : Dynamique neuronale de la cognition

Explore les réseaux d'attraction, les neurones piquants, les données de mémoire et les réseaux réalistes dans la dynamique neuronale.

Afficher plus

Concepts associés (32)

Medium spiny neuron

Apprentissage par renforcement

Mémoire spatiale

Striatum

Aire tegmentale ventrale

Afficher plus