Séances du CS-456: Deep reinforcement learning

Exploration versus exploitation

Explore l'équilibre entre l'exploration de nouvelles possibilités et l'exploitation d'actions gratifiantes connues dans l'apprentissage par renforcement.

Apprentissage par renforcement : algorithme SARSA

Explore l'algorithme SARSA pour l'apprentissage par renforcement, en mettant l'accent sur la mise à jour des valeurs Q et l'importance de l'exploration dans l'apprentissage par récompenses.

Apprentissage par renforcement: Diagrammes de sauvegarde

Présente le diagramme de sauvegarde en tant que représentation graphique clé dans l'apprentissage par renforcement.

Processus de décision de Markov: fondements de l'apprentissage par renforcement

Couvre les processus décisionnels de Markov, leur structure et leur rôle dans l'apprentissage par renforcement.

Processus de décision de Markov: Techniques de programmation dynamique

Discute des processus décisionnels de Markov et des techniques de programmation dynamique pour résoudre des politiques optimales dans divers scénarios.

Iteration des politiques et programmation linéaire dans les MDP

Discute de l'itération des politiques et des méthodes de programmation linéaire pour résoudre les processus décisionnels de Markov.

Introduction générale aux réseaux de neurones artificiels

Couvre l'histoire et l'inspiration derrière les réseaux neuronaux artificiels, la structure des neurones, l'apprentissage par les connexions synaptiques et la description mathématique des neurones artificiels.

Introduction générale aux réseaux de neurones artificiels: classification des images

Introduit des réseaux de neurones artificiels pour la classification d'images en utilisant des réseaux feedforward et récurrents en couches.

Apprentissage par renforcement profond: fonction de gradient et de valeur de la politique

Explique la mise en œuvre de l'algorithme REINFORCE avec une ligne de base à l'aide d'un réseau de neurones.

Problème XOR : réseaux neuronaux

Se penche sur la résolution du problème XOR à l'aide d'un réseau neuronal à deux couches.

Acteur-Critique Architecture et Avantage-Acteur-Critique

Explore les réseaux acteur-critique et la méthode critique acteur avantage pour optimiser les paramètres pour maximiser le rendement.

Réseaux multicouches : les premiers pas

Couvre la préparation pour dériver l'algorithme Backprop dans des réseaux en couches en utilisant des perceptrons multicouches et la descente de gradient.

Traces dans les algorithmes de gradient de politique

Plonge dans l'émergence de traces d'éligibilité dans les algorithmes de gradient de politique, rendant l'apprentissage rapide et efficace.

Traces d'éligibilité pour le gradient de politique et la critique d'acteur

Explore les traces d'éligibilité dans les architectures de gradient de politique et d'acteur-critique, conduisant à une règle d'apprentissage en ligne élégante.

Algorithme BackProp: Pseudocode et étapes de traitement

Couvre l'algorithme BackProp, y compris l'initialisation, la propagation du signal, le calcul des erreurs, la mise à jour du poids et la comparaison de la complexité avec la différenciation numérique.

Réseaux de neurones pour l'apprentissage par l'action: règles à trois facteurs et dopamine

Explore les réseaux neuronaux apprenant par récompense, les structures acteur-critique, la plasticité synaptique et le rôle de la dopamine dans les changements synaptiques.

Règles à trois facteurs: DeepRL1.5A

Explique les règles à trois facteurs dans les algorithmes de gradient de politique et leur mise en œuvre dans les systèmes biologiques et matériels.

Réseaux neuronaux pour l’apprentissage par l’action : Insights sur la mise en œuvre du cerveau

Explore les réseaux neuronaux pour l'apprentissage par l'action et la mise en œuvre de l'apprentissage par renforcement du cerveau.

Introduction générale aux réseaux de neurones artificiels: partie 3

Couvre l'apprentissage par des récompenses dans l'apprentissage par renforcement profond sans détails mathématiques.

Le problème de l’overfitting

Discute du problème du suréquipement dans les réseaux profonds et de l'importance de contrôler la flexibilité pour l'éviter.