Séance de cours

Séquence aux modèles de séquence: Aperçu et mécanismes d'attention

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les bases des modèles séquentiels à séquentiels, en se concentrant sur les lacunes liées aux dépendances à longue distance et au goulot d'étranglement temporel. Il introduit des améliorations par le biais de mécanismes d'attention, expliquant comment ils répondent aux limites des modèles récurrents traditionnels. L'instructeur discute du concept d'encodeurs bidirectionnels et de la façon dont ils améliorent la représentation des séquences d'entrée. Le processus de formation des modèles d'encodeur-décodeur est expliqué, en soulignant le besoin de données appariées dans les langues pour des tâches comme la traduction automatique. La séance de cours se penche également sur la mise en œuvre de modèles d'encodeur-décodeur attentifs, soulignant l'importance de l'attention dans l'atténuation du goulot d'étranglement temporel et l'amélioration de l'interprétabilité. Diverses fonctions d'attention et leur rôle dans l'amélioration du rendement des modèles sont explorés, ainsi que l'aspect d'interprétation des mécanismes d'attention.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Traduction automatique

La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Statistical machine translation

Statistical machine translation (SMT) was a machine translation approach, that superseded the previous, rule-based approach because it required explicit description of each and every linguistic rule, which was costly, and which often did not generalize to other languages. Since 2003, the statistical approach itself has been gradually superseded by the deep learning-based neural network approach. The first ideas of statistical machine translation were introduced by Warren Weaver in 1949, including the ideas of applying Claude Shannon's information theory.

Example-based machine translation

Example-based machine translation (EBMT) is a method of machine translation often characterized by its use of a bilingual corpus with parallel texts as its main knowledge base at run-time. It is essentially a translation by analogy and can be viewed as an implementation of a case-based reasoning approach to machine learning. At the foundation of example-based machine translation is the idea of translation by analogy.

Afficher plus

Séances de cours associées (64)

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Transformers: Techniques de pré-entraînement et de décodage

Couvre les concepts avancés de transformateur, en se concentrant sur les techniques de pré-formation et de décodage en PNL.

Réseaux neuronaux : Réseau neuronal à deux couches

Couvre les bases des réseaux neuraux, en mettant l'accent sur le développement des réseaux neuraux de deux couches vers les réseaux neuraux profonds.

Transformers : Révolutionner les mécanismes d’attention en PNL

Couvre le développement des transformateurs et leur impact sur les mécanismes d'attention en PNL.

Deep Learning: Réseaux neuronaux récurrents

Explore les réseaux neuronaux récurrents pour les données comportementales, couvrant le repérage de connaissances profondes, les réseaux LSTM, GRU, le réglage hyperparamétrique et les tâches de prévision de séries chronologiques.

Afficher plus

Concepts associés (32)

Traduction automatique

Neural machine translation

Réseau de neurones récurrents

Statistical machine translation

Example-based machine translation

Afficher plus