Séance de cours

Initialisation du poids: astuces du commerce

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre l'importance de l'initialisation intelligente du poids dans les réseaux neuronaux artificiels pour accélérer l'apprentissage lors de la descente de gradient. Il traite de la normalisation des données, de l'initialisation aléatoire des poids et de la signification de la racine carrée de N. L'instructeur explique comment différents modèles affectent l'activation des neurones et la distribution de l'activation dans la couche 1. La séance de cours se penche également sur le traitement linéaire et non linéaire dans la passe avant, en mettant l'accent sur l'exploitation des non-linéarités et l'impact de l'initialisation du poids sur les performances du réseau.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (29)

Générateur de nombres aléatoires

Un générateur de nombres aléatoires, random number generator (RNG) en anglais, est un dispositif capable de produire une suite de nombres pour lesquels il n'existe aucun lien calculable entre un nombre et ses prédécesseurs, de façon que cette séquence puisse être appelée « suite de nombres aléatoires ». Par extension, on utilise ce terme pour désigner des générateurs de nombres pseudo aléatoires, pour lesquels ce lien calculable existe, mais ne peut pas « facilement » être déduit.

Hasard

vignette|Les jeux de dés sont des symboles du hasard (jeux de hasard). vignette|Tyché ou Fortuna et sa corne d'abondance (fortune, hasard, en grec ancien, sort en latin) déesse allégorique gréco-romaine de la chance, des coïncidences, de la fortune, de la prospérité, de la destinée...|alt= Le hasard est le principe déclencheur d'événements non liés à une cause connue. Il peut être synonyme de l'« imprévisibilité », de l'« imprédictibilité », de fortune ou de destin.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Algorithmically random sequence

Intuitively, an algorithmically random sequence (or random sequence) is a sequence of binary digits that appears random to any algorithm running on a (prefix-free or not) universal Turing machine. The notion can be applied analogously to sequences on any finite alphabet (e.g. decimal digits). Random sequences are key objects of study in algorithmic information theory. As different types of algorithms are sometimes considered, ranging from algorithms with specific bounds on their running time to algorithms which may ask questions of an oracle machine, there are different notions of randomness.

Graine aléatoire

Une graine aléatoire (aussi appelée germe aléatoire) est un nombre utilisé pour l'initialisation d'un générateur de nombres pseudo-aléatoires. Toute la suite de nombres aléatoires produits par le générateur découle de façon déterministe de la valeur de la graine. Par contre, deux graines différentes produiront des suites de nombres aléatoires complètement différentes. Le choix d'une graine aléatoire est une étape cruciale en cryptologie et en sécurité informatique.

Afficher plus

Séances de cours associées (32)

Modèles de diffusion

Explore les modèles de diffusion, en mettant l'accent sur la production d'échantillons provenant d'une distribution et l'importance de la dénigrement dans le processus.

Réseaux neuronaux : formation et optimisation

Explore la formation et l'optimisation des réseaux neuronaux, en abordant des défis tels que les fonctions de perte non convexes et les minima locaux.

Réseaux de rétropropagation et de neurones

Couvre l'algorithme de rétropropagation pour la formation des réseaux neuronaux et la représentation des fonctions dans les réseaux multicouches.

Limites fondamentales de l'apprentissage basé sur le graduat

S'inscrit dans les limites fondamentales de l'apprentissage par gradient sur les réseaux neuronaux, couvrant des sujets tels que le théorème binôme, les séries exponentielles et les fonctions génératrices de moments.

Les principes fondamentaux de l'apprentissage profond

Introduit un apprentissage profond, de la régression logistique aux réseaux neuraux, soulignant la nécessité de traiter des données non linéairement séparables.

Afficher plus

Concepts associés (29)

Générateur de nombres aléatoires

Hasard

Réseau de neurones récurrents

Algorithmically random sequence

Graine aléatoire

Afficher plus