Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Réseaux neuronaux récurrents: LSTM et GRU

Description

Cette séance de cours couvre la poursuite des réseaux neuronaux récurrents avec plusieurs couches et bidirectionnalité, en mettant l'accent sur les variantes LSTM et GRU. Il traite des défis de l'apprentissage des dépendances à long terme, de l'utilisation des portes dans les GRU et des avantages des LSTM et des GRU par rapport aux RNN traditionnelles. L'instructeur explique les concepts à travers des exemples pratiques et aborde des questions telles que les gradients de disparition et les architectures optimales pour différentes tâches.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".

Vanishing gradient problem

In machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Afficher plus

Séances de cours associées (32)

Réseaux de neurones récurrents: formation et défis

Discute des réseaux neuronaux récurrents, de leurs défis de formation et de solutions telles que les LSTM et les GRU.

Modélisation linguistique et réseaux neuronaux récurrents

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Réseaux neuronaux récurrents : modèles de langage neuronal

Explore les modèles de langage neuronal à context fixe, les RNN, les gradients de disparition et l'étiquetage séquentiel dans NLP.

Réseaux neuronaux d'avant-garde : fonctions d'activation et rétropropagation

Introduit des réseaux neuronaux, des fonctions d'activation et de rétropropagation pour la formation, en répondant aux défis et aux méthodes puissantes.

Afficher plus

Concepts associés (32)

Long short-term memory

Vanishing gradient problem

Réseau de neurones récurrents

Réseau neuronal convolutif

Types of artificial neural networks

Afficher plus