Séance de cours

Réseaux neuronaux récurrents: LSTM et GRU

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre la poursuite des réseaux neuronaux récurrents avec plusieurs couches et bidirectionnalité, en mettant l'accent sur les variantes LSTM et GRU. Il traite des défis de l'apprentissage des dépendances à long terme, de l'utilisation des portes dans les GRU et des avantages des LSTM et des GRU par rapport aux RNN traditionnelles. L'instructeur explique les concepts à travers des exemples pratiques et aborde des questions telles que les gradients de disparition et les architectures optimales pour différentes tâches.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".

Vanishing gradient problem

In machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Afficher plus

Séances de cours associées (56)

Apprentissage profond pour les véhicules autonomes: Apprentissage

Explore l'apprentissage en apprentissage profond pour les véhicules autonomes, couvrant les modèles prédictifs, RNN, ImageNet, et l'apprentissage de transfert.

Réseaux de neurones récurrents: formation et défis

Discute des réseaux neuronaux récurrents, de leurs défis de formation et de solutions telles que les LSTM et les GRU.

Réseaux neuronaux profonds : optimisation et approximation

Explore l'optimisation et l'approximation dans les réseaux neuronaux profonds, y compris le contrôle optimal et les expériences numériques.

Modélisation linguistique et réseaux neuronaux récurrents

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

Splines et apprentissage automatique

Explore l'apprentissage supervisé comme un problème mal posé et l'intégration de splines adaptatives clairsemées dans les architectures neurales.

Afficher plus

Concepts associés (32)

Long short-term memory

Vanishing gradient problem

Réseau de neurones récurrents

Réseau neuronal convolutif

Types of artificial neural networks

Afficher plus