Séance de cours

Traduction automatique: séquence à séquence et attention

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'évolution de la traduction automatique de la traduction automatique statistique à la traduction automatique neuronale (NMT) en mettant l'accent sur les modèles de séquence à séquence et les mécanismes d'attention. Il explique les défis rencontrés dans la modélisation de la traduction, l'architecture des modèles NMT, le rôle de l'attention dans NMT, et les avantages de l'utilisation de l'attention au lieu de la récurrence. La séance de cours se penche également sur les concepts de l'auto-attention, des représentations de position, des non-linéarités et du masquage dans le contexte des éléments de construction des systèmes NMT.

Source officielle

Proximité ontologique

Information engineering

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (32)

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Statistical machine translation

Statistical machine translation (SMT) was a machine translation approach, that superseded the previous, rule-based approach because it required explicit description of each and every linguistic rule, which was costly, and which often did not generalize to other languages. Since 2003, the statistical approach itself has been gradually superseded by the deep learning-based neural network approach. The first ideas of statistical machine translation were introduced by Warren Weaver in 1949, including the ideas of applying Claude Shannon's information theory.

Google Traduction

Google Traduction (Google Translate) est un service de traduction automatique gratuit fourni par Google. Contrairement à d'autres services de traduction comme Babel Fish (supprimé en 2012), AOL et Yahoo! qui utilisent SYSTRAN, Google utilise son propre logiciel de traduction. Le service permet également la traduction de pages Web, même longues. Depuis , une limitation de caractères traduits est posée, mais elle n'affecte pas la traduction d'une page web via son URL.

Example-based machine translation

Example-based machine translation (EBMT) is a method of machine translation often characterized by its use of a bilingual corpus with parallel texts as its main knowledge base at run-time. It is essentially a translation by analogy and can be viewed as an implementation of a case-based reasoning approach to machine learning. At the foundation of example-based machine translation is the idea of translation by analogy.

Traduction automatique

La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.

Afficher plus

Séances de cours associées (64)

Séquence aux modèles de séquence: Aperçu et mécanismes d'attention

Explore la séquence des modèles de séquence, les mécanismes d'attention et leur rôle dans le traitement des limites des modèles et l'amélioration de l'interprétation.

Systèmes de connaissances non conceptuels

Explore l'impact de l'apprentissage profond sur les humanités numériques, en se concentrant sur les systèmes de connaissances non conceptuels et les progrès récents de l'IA.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Modélisation linguistique et réseaux neuronaux récurrents

Explore la modélisation linguistique, les RNN, les modèles n-gram, les LSTM et les RNN bidirectionnelles.

Transformers : Révolutionner les mécanismes d’attention en PNL

Couvre le développement des transformateurs et leur impact sur les mécanismes d'attention en PNL.

Afficher plus

Concepts associés (32)

Neural machine translation

Statistical machine translation

Google Traduction

Example-based machine translation

Traduction automatique

Afficher plus