Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Règles à trois facteurs: DeepRL1.5A

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre le concept de règles à trois facteurs dans les algorithmes de gradient de politique, expliquant comment les traces d'éligibilité sont mises à jour en fonction de l'activité des neurones communs et proportionnelles à la récompense. Il traite également de la mise en œuvre de ces règles dans les systèmes biologiques et matériels.

Enseignant·e·s (2)

Caglar Gulcehre

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Source officielle

Concepts associés (19)

Neurone formel

thumb|Représentation d'un neurone formel (ou logique). Un neurone formel, parfois appelé neurone de McCulloch-Pitts, est une représentation mathématique et informatique d'un neurone biologique. Le neurone formel possède généralement plusieurs entrées et une sortie qui correspondent respectivement aux dendrites et au cône d'émergence du neurone biologique (point de départ de l'axone). Les actions excitatrices et inhibitrices des synapses sont représentées, la plupart du temps, par des coefficients numériques (les poids synaptiques) associés aux entrées.

Chemical synapse

Chemical synapses are biological junctions through which neurons' signals can be sent to each other and to non-neuronal cells such as those in muscles or glands. Chemical synapses allow neurons to form circuits within the central nervous system. They are crucial to the biological computations that underlie perception and thought. They allow the nervous system to connect to and control other systems of the body. At a chemical synapse, one neuron releases neurotransmitter molecules into a small space (the synaptic cleft) that is adjacent to another neuron.

Potentiel postsynaptique

Un potentiel postsynaptique (PPS), encore appelé potentiel gradué ou potentiel électro-tonique, est le signal unitaire produit en aval d'une synapse. Il s'agit d'un changement transitoire et local de la différence de potentiel électrochimique établie de part et d'autre de la membrane. La plaque motrice est la zone synaptique entre le neurone et la cellule musculaire. Le neurotransmetteur mis en jeu est l'acétylcholine qui va se fixer sur un récepteur et va ainsi entraîner une dépolarisation.

Excitatory synapse

An excitatory synapse is a synapse in which an action potential in a presynaptic neuron increases the probability of an action potential occurring in a postsynaptic cell. Neurons form networks through which nerve impulses travels, each neuron often making numerous connections with other cells of neurons. These electrical signals may be excitatory or inhibitory, and, if the total of excitatory influences exceeds that of the inhibitory influences, the neuron will generate a new action potential at its axon hillock, thus transmitting the information to yet another cell.

Potentiel postsynaptique excitateur

Un potentiel postsynaptique excitateur (PPSE) est un changement de la valeur du potentiel de membrane (dans le sens d'une dépolarisation) localisé dans le neurone postsynaptique. Cette dépolarisation est causée par un mouvement d'ions (cations) à travers la membrane, lui-même permis par l'ouverture de récepteurs postsynaptiques (canaux membranaires) provoqué par les neurotransmetteurs largués dans l'espace synaptique par l'axone ou le dendrite d'une cellule présynaptique.

Afficher plus

Séances de cours associées (39)

Comprendre la transmission synaptique

Explore la transmission synaptique, les neurotransmetteurs et les principes de plasticité neuronale.

Modélisation de la transmission synaptique : Dynamique stochastique MOOC: Simulation de la neuroscience

Explore la modélisation stochastique de la transmission synaptique, les paramètres, les effets inhibiteurs et la fiabilité synaptique.

Modélisation du potentiel synaptique MOOC: Simulation de la neuroscience

Explore la modélisation des potentiels synaptiques et les facteurs qui influencent leur amplitude.

Sans titre

Transmission synaptique: Structure et Mécanismes MOOC: Simulation de la neuroscience

Explore la structure et la fonction des synapses, y compris la diversité des neurotransmetteurs et le rôle des récepteurs AMPA et NMDA.

Afficher plus

Concepts associés (19)

Neurone formel

Chemical synapse

Potentiel postsynaptique

Excitatory synapse

Potentiel postsynaptique excitateur

Afficher plus