Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Seq2Seq Modèles: Attention vs. Pas d'attention

Dans cours

EE-608: Deep Learning For Natural Language Processing

This course covers advanced topics in deep learning architectures for natural language processing. The focus is on attention-based architectures, structure processing and variational-Bayesian approaches, and why these models are particularly suited to the ...

Description

Cette séance de cours couvre la mise en œuvre des modèles de séquence à séquence (Seq2Seq) avec et sans mécanismes d'attention. Il explique l'architecture des modèles codeurs-décodeurs, le rôle des vecteurs de contexte et le processus de décodage des phrases sources en phrases cibles. La séance de cours explore également l'utilisation des RNN bidirectionnels, le forçage des enseignants et différents types de mécanismes d'attention tels que l'additif et l'attention personnelle. En outre, il discute de l'importance de l'initialisation du poids, des boucles d'entraînement et des applications des mécanismes d'attention dans diverses tâches de ML et de PNL.

Enseignant·e

James Henderson

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Attention (machine learning)

Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Long short-term memory

Long short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Afficher plus

Séances de cours associées (37)

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Formation des classificateurs de sentiments binaires

Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.

Réseaux de neurones récurrents: formation et défis

Discute des réseaux neuronaux récurrents, de leurs défis de formation et de solutions telles que les LSTM et les GRU.

Représentations contextuelles : ELMO et BERT Vue d'ensemble

Couvre les représentations contextuelles en PNL, en se concentrant sur les architectures ELMO et BERT et leurs applications dans diverses tâches.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Afficher plus

Concepts associés (32)

Réseau de neurones récurrents

Attention (machine learning)

Apprentissage profond

Long short-term memory

Types of artificial neural networks

Afficher plus