Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Exploration vs. Exploitation: Softmax Policy Quiz

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours présente un quiz sur le dilemme exploration vs exploitation en utilisant la politique softmax, en discutant de l'importance des différences de valeurs Q et de l'impact du paramètre bêta sur la sélection des actions après les mises à jour itératives.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Source officielle

Concepts associés (14)

Loi bêta prime

En théorie des probabilités et en statistique, la loi bêta prime (également connue sous les noms loi bêta II ou loi bêta du second type) est une loi de probabilité continue définie dont le support est et dépendant de deux paramètres de forme. Si une variable aléatoire X suit une loi bêta prime, on notera . Sa densité de probabilité est donnée par : où B est la fonction bêta. Cette loi est une loi de Pearson de type VI. Le mode d'une variable aléatoire de loi bêta prime est .

Loi bêta

Dans la théorie des probabilités et en statistiques, la loi bêta est une famille de lois de probabilités continues, définies sur , paramétrée par deux paramètres de forme, typiquement notés (alpha) et (bêta). C'est un cas spécial de la loi de Dirichlet, avec seulement deux paramètres. Admettant une grande variété de formes, elle permet de modéliser de nombreuses distributions à support fini. Elle est par exemple utilisée dans la méthode PERT. Fixons les deux paramètres de forme α, β > 0.

Paramètre de forme

vignette|La loi Gamma est régie par deux paramètres de formes : k et θ. Un changement d'un de ces paramètres ne change pas seulement la position ou l'échelle de la distribution, mais également sa forme. Dans la théorie des probabilités et en statistiques, un paramètre de forme est un type de paramètre régissant une famille paramétrique de lois de probabilité. Un paramètre de forme est un paramètre d'une loi de probabilité qui n'est pas un paramètre affine, donc ni un paramètre de position ni un paramètre d'échelle.

Generalized beta distribution

In probability and statistics, the generalized beta distribution is a continuous probability distribution with four shape parameters (however it's customary to make explicit the scale parameter as a fifth parameter, while the location parameter is usually left implicit), including more than thirty named distributions as limiting or special cases. It has been used in the modeling of income distribution, stock returns, as well as in regression analysis.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Afficher plus

Séances de cours associées (35)

Réseaux neuronaux : apprentissage multicouche

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond, y compris la propagation arrière et les architectures réseau comme LeNet, AlexNet et VGG-16.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Réseaux neuronaux convolutionnels

Introduit des réseaux neuronaux convolutionnels (RCN) pour les véhicules autonomes, couvrant l'architecture, les applications et les techniques de régularisation.

Deep Learning : réseaux neuronaux convolutifs

Présente les réseaux neuronaux convolutifs, en expliquant leur architecture, leur processus de formation et leurs applications dans les tâches de segmentation sémantique.

Afficher plus

Concepts associés (14)

Loi bêta prime

Loi bêta

Paramètre de forme

Generalized beta distribution

Réseau de neurones artificiels

Afficher plus