Séance de cours

Apprendre à trouver un objectif

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours explore une version biologiquement inspirée de la tâche classique de l'apprentissage par renforcement, où l'instructeur discute de l'hippocampe, place des cellules dans le cerveau du rat, le Morris Water Maze, modélise une tâche de labyrinthe, la navigation de labyrinthe avec Actor-Critic, et la mise en œuvre des neurones de spiking. La séance de cours se termine par un résumé reliant l'apprentissage TD dans un cadre acteur-critique aux fonctions cérébrales et présentant la possibilité d'apprendre dans quelques essais avec une représentation sensorielle bien adaptée.

Enseignant·e·s (2)

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Source officielle

Proximité ontologique

Biologie

Biologie cellulaire: Neurotransmission

Concepts associés (32)

Medium spiny neuron

Medium spiny neurons (MSNs), also known as spiny projection neurons (SPNs), are a special type of GABAergic inhibitory cell representing 95% of neurons within the human striatum, a basal ganglia structure. Medium spiny neurons have two primary phenotypes (characteristic types): D1-type MSNs of the direct pathway and D2-type MSNs of the indirect pathway. Most striatal MSNs contain only D1-type or D2-type dopamine receptors, but a subpopulation of MSNs exhibit both phenotypes.

Striatum

thumb|260px|Vue en 3D du striatum (en rouge). En neuroanatomie, le striatum ou néostriatum, appelé également le corps strié est une structure nerveuse subcorticale (sous le cortex) paire. Il est impliqué dans le mouvement involontaire, la motivation alimentaire ou sexuelle, la gestion de la douleur (via le système dopaminergique) et la cicatrisation voire la régénérescence de certains tissus cérébraux. Il est lié aux maladies de Parkinson, de Huntington et de Gilles de la Tourette, ainsi qu'au phénomène d'addiction.

Aire tegmentale ventrale

L'aire tegmentaire ventrale (ATV) quelquefois également appelée aire tegmentale ventrale, est constituée d'un groupe de neurones localisés dans le mésencéphale. Une majorité de ces neurones produisent le neurotransmetteur dopamine, alors que d'autres produisent du GABA ou du glutamate. Certains des neurones dopaminergiques libèrent aussi du glutamate ou du GABA, un phénomène appelé "cotransmission". Les neurones dopaminergiques de l'ATV projettent sur de nombreuses régions du cerveau en deux grandes voies : le système mésocortical et mésolimbique.

Labyrinthe de Morris

Le labyrinthe de Morris, ou piscine de Morris (du nom de Richard G. Morris qui l'a conçu en 1984), est un dispositif aquatique circulaire très utilisé en neurosciences comportementales pour évaluer la mémoire du rongeur. Il est divisible virtuellement en quadrants et une plateforme immergée (invisible) est localisée dans l'un de ceux-ci. Le principe de son utilité réside dans la motivation de l'animal à échapper à l'aversion causée par l'eau, celui-ci devant trouver et grimper le plus rapidement possible sur la plateforme.

Ganglions de la base

Les ganglions de la base (autrement appelés noyaux gris centraux ou noyaux de la base) sont un ensemble de structures sous-corticales constitué par des noyaux pairs, interconnectés au niveau télencéphalique (hémisphères cérébraux) et diencéphalique. Leur structure peut varier selon qu'on les définit de manière anatomique ou fonctionnelle.

Afficher plus

Séances de cours associées (64)

Maladie de Parkinson: perspectives cliniques et approches de traitement

Couvre la maladie de Parkinson, ses symptômes, les défis de diagnostic et les options de traitement actuelles, en insistant sur la nécessité de biomarqueurs précoces et de thérapies modificateurs de la maladie.

L’apprentissage basé sur la récompense : les mécanismes cellulaires MOOC: Mécanismes cellulaires des fonctions cérébrales

Explore l'apprentissage basé sur la récompense dans les réseaux neuronaux et le rôle de la dopamine dans la plasticité synaptique.

Les neurosciences inspirent l’intelligence artificielle

Explore le développement historique de l'apprentissage profond, de l'apprentissage par renforcement, des mécanismes d'attention et des systèmes de mémoire en IA inspirés des neurosciences.

Computing neuromorphe : concepts et implémentations matérielles

Couvre l'informatique neuromorphe, les défis dans l'informatique ternaire et binaire, les simulations matérielles du cerveau, et les nouveaux matériaux pour les cellules cérébrales artificielles.

Modèles de plasticité Spike-Timing MOOC: Dynamique neuronale 2- Neurosciences computationnelles : Dynamique neuronale de la cognition

Explore les modèles Spike-Timing de plasticité, y compris STDP et les traces synaptiques.

Afficher plus

Concepts associés (32)

Medium spiny neuron

Striatum

Aire tegmentale ventrale

Labyrinthe de Morris

Ganglions de la base

Afficher plus