Séance de cours

Méthodes de régularisation : Formation et Validation Base

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours couvre la philosophie de la régularisation et du contrôle de la «flexibilité» dans les réseaux de neurones artificiels. Diverses méthodes de régularisation faciles à mettre en œuvre sont discutées, y compris les fonctions de perte modifiées, la base de formation et la base de validation. L'instructeur explique l'importance de diviser les données en bases d'entraînement et de validation pour éviter les surajustements et explique comment optimiser les paramètres en utilisant la descente en pente. Différentes techniques de régularisation telles que les pénalités et la dégradation du poids sont explorées, ainsi que leur impact sur la flexibilité du réseau. Des exemples pratiques d'ajustement de courbe et de contrôle de la flexibilité par la régularisation sont présentés, soulignant la nécessité d'équilibrer la complexité et la généralisation du modèle.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Proximité ontologique

Statistique

Analyse des données: Validation croisée

Concepts associés (32)

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Radioactivité α

La radioactivité alpha (ou rayonnement alpha, symbolisé α) est le rayonnement provoqué par la désintégration alpha, soit la forme de désintégration radioactive où un noyau atomique X éjecte une et se transforme en un noyau Y de nombre de masse A diminué de 4 et de numéro atomique Z diminué de 2. En 1898, Ernest Rutherford découvre que la radioactivité émise par un minerai d'uranium est un mélange de deux phénomènes distincts qu'il appelle radioactivité α et radioactivité β.

Radioactivité

vignette|Pictogramme signalant la présence de matière radioactive. (☢) vignette|La maison de Georges Cuvier, au Jardin des plantes de Paris, où Henri Becquerel découvrit la radioactivité en 1896. La radioactivité est le phénomène physique par lequel des noyaux atomiques instables (dits radionucléides ou radioisotopes) se transforment spontanément en d'autres atomes (désintégration) en émettant simultanément des particules de matière (électrons, noyaux d'hélium, neutrons) et de l'énergie (photons et énergie cinétique).

Afficher plus

Séances de cours associées (64)

Régression linéaire probabiliste

Examine la régression probabiliste linéaire, couvrant les probabilités articulaires et conditionnelles, la régression des crêtes et l'atténuation excessive.

Validation croisée et régularisation

Explore l'ajustement de la courbe polynomiale, les fonctions du noyau et les techniques de régularisation, en soulignant l'importance de la complexité du modèle et du surajustement.

Fondements de l'apprentissage automatique : régularisation et validation croisée

Explore le surajustement, la régularisation et la validation croisée dans l'apprentissage automatique, soulignant l'importance de l'expansion des fonctionnalités et des méthodes du noyau.

Suréquipement, validation croisée et régularisation

Explore la complexité du modèle, le surajustement et le rôle de la validation croisée et de la régularisation dans l'apprentissage automatique.

Overfitting dans l'apprentissage supervisé: études de cas et techniques

Aborde l'ajustement excessif dans l'apprentissage supervisé par le biais d'études de cas de régression polynomiale et de techniques de sélection de modèles.

Afficher plus

Concepts associés (32)

Ridge regression

Validation croisée

Réseau de neurones récurrents

Radioactivité α

Radioactivité

Afficher plus