Séance de cours

Réseaux neuronaux récurrents : modèles de langage neuronal

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les modèles de langage neuronal à contexte fixe, les réseaux neuronaux récurrents (RNN) et leurs applications dans le traitement du langage naturel. L'instructeur discute des avantages et des inconvénients des RNN, des défis des dépendances à long terme et de la question des gradients de disparition. La séance de cours explore également l'étiquetage séquentiel, la rétropropagation dans le temps et les solutions au problème du gradient de disparition. En outre, il se penche sur les aspects pratiques des gradients de calcul et sur l'utilisation de la différenciation automatique dans les progiciels d'apprentissage profond. La séance de cours se termine par un aperçu des sujets à venir sur les architectures RNN plus puissantes et les modèles de codeur-décodeur.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Vanishing gradient problem

In machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.

Rétropropagation du gradient

En intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".

Afficher plus

Séances de cours associées (64)

Deep Learning

Couvre les bases de l'apprentissage profond, y compris les représentations de données, le sac de mots, le prétraitement des données, les réseaux de neurones artificiels et les réseaux de neurones convolutifs.

Réseaux de neurones récurrents: formation et défis

Discute des réseaux neuronaux récurrents, de leurs défis de formation et de solutions telles que les LSTM et les GRU.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Réseaux neuronaux d'avant-garde : fonctions d'activation et rétropropagation

Introduit des réseaux neuronaux, des fonctions d'activation et de rétropropagation pour la formation, en répondant aux défis et aux méthodes puissantes.

Deep Learning : Perceptron multicouche et formation

Couvre les fondamentaux de l'apprentissage profond, en se concentrant sur les perceptrons multicouches et leurs processus de formation.

Afficher plus

Concepts associés (32)

Vanishing gradient problem

Rétropropagation du gradient

Réseau de neurones récurrents

Réseau de neurones artificiels

Long short-term memory

Afficher plus