Séance de cours

Seq2Seq Modèles: Attention vs. Pas d'attention

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-608: Deep Learning For Natural Language Processing

This course covers advanced topics in deep learning architectures for natural language processing. The focus is on attention-based architectures, structure processing and variational-Bayesian approaches, and why these models are particularly suited to the ...

Description

Cette séance de cours couvre la mise en œuvre des modèles de séquence à séquence (Seq2Seq) avec et sans mécanismes d'attention. Il explique l'architecture des modèles codeurs-décodeurs, le rôle des vecteurs de contexte et le processus de décodage des phrases sources en phrases cibles. La séance de cours explore également l'utilisation des RNN bidirectionnels, le forçage des enseignants et différents types de mécanismes d'attention tels que l'additif et l'attention personnelle. En outre, il discute de l'importance de l'initialisation du poids, des boucles d'entraînement et des applications des mécanismes d'attention dans diverses tâches de ML et de PNL.

Enseignant·e

James Henderson

Enseignement et PhD Doctorant·es actuel·les Haruki Shirakami, Dina El Zein, Jose Rafael Espinosa Mena, Kimia Alavi, Mojtaba Nafez A co-dirigé les thèses EPFL de Lesly Sadiht Miculicich Werlen, Rabeeh Karimi Mahabadi, Alireza Mohammadshahi, Andreas Thomas Marfurt, Jan Frederik Jonas Florian Mai, Melika Behjati, Fabio James Fehr, Andrei Catalin Coman Cours Deep Learning For Natural Language Processing EE-608

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (29)

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Réseaux antagonistes génératifs

En intelligence artificielle, les réseaux antagonistes génératifs (RAG) parfois aussi appelés réseaux adverses génératifs (en anglais generative adversarial networks ou GANs) sont une classe d'algorithmes d'apprentissage non supervisé. Ces algorithmes ont été introduits par . Ils permettent de générer des images avec un fort degré de réalisme. Un GAN est un modèle génératif où deux réseaux sont placés en compétition dans un scénario de théorie des jeux. Le premier réseau est le générateur, il génère un échantillon (ex.

Traitement automatique du langage naturel

Le traitement automatique du langage naturel (TALN), en anglais natural language processing ou NLP, est un domaine multidisciplinaire impliquant la linguistique, l'informatique et l'intelligence artificielle, qui vise à créer des outils de traitement du langage naturel pour diverses applications. Il ne doit pas être confondu avec la linguistique informatique, qui vise à comprendre les langues au moyen d'outils informatiques.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Afficher plus

Séances de cours associées (64)

Fondements de l'apprentissage profond: Aperçu de l'architecture transformatrice

Couvre les concepts fondamentaux de l'apprentissage profond et de l'architecture Transformer, en se concentrant sur les réseaux neuronaux, les mécanismes d'attention et leurs applications dans les tâches de modélisation de séquence.

Formation des classificateurs de sentiments binaires

Couvre la formation d'un classificateur de sentiment binaire à l'aide d'un RNN.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Modélisation linguistique et réseaux neuronaux récurrents

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

Réseaux de neurones récurrents: formation et défis

Discute des réseaux neuronaux récurrents, de leurs défis de formation et de solutions telles que les LSTM et les GRU.

Afficher plus

Concepts associés (29)

Apprentissage profond

Types of artificial neural networks

Réseaux antagonistes génératifs

Traitement automatique du langage naturel

Transformeur

Afficher plus