Séance de cours

Interprétation statistique des réseaux de neurones artificiels

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-456: Deep reinforcement learning

This course provides an overview and introduces modern methods for reinforcement learning (RL.) The course starts with the fundamentals of RL, such as Q-learning, and delves into commonly used approaches, like PPO and DQN. The course will introduce student ...

Description

Cette séance de cours se concentre sur l'interprétation statistique des réseaux de neurones artificiels, dérivant la fonction d'erreur d'entropie croisée dans le contexte de la probabilité de données sous un modèle de réseau de neurones. Il couvre la génération d'étiquettes prédites, la probabilité de paires d'entrées-sorties et la probabilité maximale pour les réseaux neuronaux en minimisant la probabilité négative de log.

Enseignant·e·s (2)

Wulfram Gerstner

Wulfram Gerstner is Director of the Laboratory of Computational Neuroscience LCN at the EPFL. His research in computational neuroscience concentrates on models of spiking neurons and spike-timing dependent plasticity, on the problem of neuronal coding in single neurons and populations, as well as on the link between biologically plausible learning rules and behavioral manifestations of learning. He teaches courses for Physicists, Computer Scientists, Mathematicians, and Life Scientists at the EPFL. After studies of Physics in Tübingen and at the Ludwig-Maximilians-University Munich (Master 1989), Wulfram Gerstner spent a year as a visiting researcher in Berkeley. He received his PhD in theoretical physics from the Technical University Munich in 1993 with a thesis on associative memory and dynamics in networks of spiking neurons. After short postdoctoral stays at Brandeis University and the Technical University of Munich, he joined the EPFL in 1996 as assistant professor. Promoted to Associate Professor with tenure in February 2001, he is since August 2006 a full professor with double appointment in the School of Computer and Communication Sciences and the School of Life Sciences. Wulfram Gerstner has been invited speaker at numerous international conferences and workshops. He has served on the editorial board of the Journal of Neuroscience, Network: Computation in Neural Systems', Journal of Computational Neuroscience', and `Science'.

Caglar Gulcehre

Enseignement et PhD Doctorant·es actuel·les Tim Ruben Davidson, Skander Moalla, Anja Surina, Xiuying Wei, Liangze Jiang, Mikhail Terekhov, Amin Mansouri, Justin Samuel Deschenaux, Yitao Xu Cours Training Large Language Models EE-628

Source officielle

Concepts associés (21)

Test du rapport de vraisemblance

En statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .

Likelihood principle

In statistics, the likelihood principle is the proposition that, given a statistical model, all the evidence in a sample relevant to model parameters is contained in the likelihood function. A likelihood function arises from a probability density function considered as a function of its distributional parameterization argument.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Interprétations de la probabilité

Le mot probabilité a été utilisé dans une variété de domaines depuis qu'il a été appliqué à l'étude mathématique des jeux de hasard. Est-ce que la probabilité mesure la tendance réelle physique de quelque chose de se produire, ou est-ce qu'elle est une mesure du degré auquel on croit qu'elle se produira, ou faut-il compter sur ces deux éléments ? Pour répondre à ces questions, les mathématiciens interprètent les valeurs de probabilité de la théorie des probabilités.

Inférence statistique

vignette|Illustration des 4 principales étapes de l'inférence statistique L'inférence statistique est l'ensemble des techniques permettant d'induire les caractéristiques d'un groupe général (la population) à partir de celles d'un groupe particulier (l'échantillon), en fournissant une mesure de la certitude de la prédiction : la probabilité d'erreur. Strictement, l'inférence s'applique à l'ensemble des membres (pris comme un tout) de la population représentée par l'échantillon, et non pas à tel ou tel membre particulier de cette population.

Afficher plus

Séances de cours associées (64)

Approche statistique : résumé et quiz

Discute de la vue statistique des réseaux neuronaux, des tâches de classification et des fonctions de perte d'entropie croisée.

Tests de rapport de vraisemblance: optimisation et extensions

Couvre les tests de ratio de vraisemblance, leur optimalité et les extensions dans les tests d'hypothèses, y compris le théorème de Wilks et la relation avec les intervalles de confiance.

Test du rapport de vraisemblance : Détection et estimation

Couvre le test de rapport de vraisemblance pour la détection et l'estimation dans l'analyse statistique.

Probabilité et statistiques

Introduit la probabilité, les statistiques, les distributions, l'inférence, la probabilité et la combinatoire pour étudier les événements aléatoires et la modélisation en réseau.

Estimation maximale de la probabilité : Statistiques multivariées

Explore l'estimation de la probabilité maximale et les tests d'hypothèses multivariées, y compris les défis et les stratégies pour tester plusieurs hypothèses.

Afficher plus

Concepts associés (21)

Test du rapport de vraisemblance

Likelihood principle

Réseau de neurones récurrents

Interprétations de la probabilité

Inférence statistique

Afficher plus