Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Réseau neuronal résidueldroite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).
Traduction automatiqueLa traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.
Neural machine translationNeural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.
Statistical machine translationStatistical machine translation (SMT) was a machine translation approach, that superseded the previous, rule-based approach because it required explicit description of each and every linguistic rule, which was costly, and which often did not generalize to other languages. Since 2003, the statistical approach itself has been gradually superseded by the deep learning-based neural network approach. The first ideas of statistical machine translation were introduced by Warren Weaver in 1949, including the ideas of applying Claude Shannon's information theory.
Fonction softmaxvignette|Fonction softmax utilisée après un CNN (Réseau neuronal convolutif). Ici le vecteur (35.4, 38.1, -5.0) est transformée en (0.06, 0.94, 0.00). Dans ce contexte de classification d'images, le chien est reconnu. En mathématiques, la fonction softmax, aussi appelée fonction softargmax ou fonction exponentielle normalisée, est une généralisation de la fonction logistique. Elle convertit un vecteur de K nombres réels en une distribution de probabilités sur K choix.
Example-based machine translationExample-based machine translation (EBMT) is a method of machine translation often characterized by its use of a bilingual corpus with parallel texts as its main knowledge base at run-time. It is essentially a translation by analogy and can be viewed as an implementation of a case-based reasoning approach to machine learning. At the foundation of example-based machine translation is the idea of translation by analogy.
Traduction assistée par ordinateurLa traduction assistée par ordinateur ou TAO (en anglais, computer-aided translation ou CAT) est un domaine qui est à cheval entre la traduction et l’informatique. Elle est un sous-domaine de la traductique, qui regroupe l'ensemble des outils informatiques utilisées par un traducteur (traitement de textes, outils terminologiques, traduction automatique...). Elle ne doit pas être confondue avec la traduction automatique par ordinateur : dans la traduction assistée par ordinateur, c’est bien un humain qui traduit, mais avec un soutien informatique pour lui faciliter la tâche.
OmégaOméga (capitale Ω, minuscule ω ; en grec ωμέγα) est la et dernière lettre de l'alphabet grec, précédée par psi. En grec ancien, la lettre oméga représente la voyelle mi-ouverte postérieure arrondie longue . En grec moderne, elle représente le même phonème que la lettre omicron, c'est-à-dire la voyelle mi-fermée postérieure arrondie brève . Dans le système de numération grecque, oméga vaut 800 ; par exemple ωʹ représente le nombre 800.
Système de reconnaissance facialeUn système de reconnaissance faciale est une application logicielle visant à reconnaître automatiquement une personne grâce à son visage. Il s'agit d'un sujet particulièrement étudié en vision par ordinateur, avec de très nombreuses publications et brevets, et des conférences spécialisées. La reconnaissance de visage a de nombreuses applications en vidéosurveillance, biométrie, robotique, indexation d'images et de vidéos, , etc. Ces systèmes sont généralement utilisés à des fins de sécurité pour déverrouiller ordinateur/mobile/console, mais aussi en domotique.
Pi (lettre grecque)Pi (capitale Π, minuscule π ou parfois π ; en grec πι) est la lettre de l'alphabet grec, précédée par omicron et suivie par rhô. Dérivée de la lettre pey x12px de l'alphabet phénicien, elle est l'ancêtre de la lettre P de l'alphabet latin et de la lettre П de l'alphabet cyrillique. En grec moderne, la lettre pi représente une consonne occlusive bilabiale sourde, . Cette valeur est en général également celle du grec ancien.
Lettre (alphabet)La lettre est l'un des signes graphiques formant un alphabet et servant à transcrire une langue. Ce mot provient du latin littera « caractère d’écriture », dont l’origine est inconnue. Le Dictionnaire étymologique de la langue latine d'Ernout et Meillet signale une possible provenance grecque ou un emprunt étrusque, « hypothèse ingénieuse et séduisante, mais non rigoureusement démontrable. » L'écriture est apparue en Mésopotamie vers 3500 et en Égypte vers 3300 Pour la première fois, en 2400 , les Égyptiens écrivirent sur des papyrus.
Vision par ordinateurLa vision par ordinateur est un domaine scientifique et une branche de l’intelligence artificielle qui traite de la façon dont les ordinateurs peuvent acquérir une compréhension de haut niveau à partir d's ou de vidéos numériques. Du point de vue de l'ingénierie, il cherche à comprendre et à automatiser les tâches que le système visuel humain peut effectuer. Les tâches de vision par ordinateur comprennent des procédés pour acquérir, traiter, et « comprendre » des images numériques, et extraire des données afin de produire des informations numériques ou symboliques, par ex.
Activity recognitionActivity recognition aims to recognize the actions and goals of one or more agents from a series of observations on the agents' actions and the environmental conditions. Since the 1980s, this research field has captured the attention of several computer science communities due to its strength in providing personalized support for many different applications and its connection to many different fields of study such as medicine, human-computer interaction, or sociology.
Notation positionnelleLa notation positionnelle est un procédé d'écriture des nombres, dans lequel chaque position d'un chiffre ou symbole est reliée à la position voisine par un multiplicateur, appelé base du système de numération. Chaque position peut être renseignée par un symbole (notation sans base auxiliaire) ou par un nombre fini de symboles (notation avec base auxiliaire). La valeur d'une position est celle du symbole de position ou celle de la précédente position apparente multipliée par la base.
AlphaAlpha (capitale Α, minuscule α ; en grec άλφα), est la première lettre de l'alphabet grec. Dérivée de la lettre aleph x12px de l'alphabet phénicien, elle est l'ancêtre des lettres A et Ɑ (alpha) de l'alphabet latin, de la lettre А de l'alphabet cyrillique, et de la lettre Ⲁ de l’alphabet copte. En grec ancien, alpha est prononcé [a] quand il est court et [aː] quand il est long. En cas d'ambiguïté, la lettre est de nos jours parfois diacritée d'un macron ou d'une brève : Ᾱᾱ, Ᾰᾰ.
Reconnaissance de l'écriture manuscriteLa reconnaissance de l’écriture manuscrite (en anglais, handwritten text recognition ou HTR) est un traitement informatique qui a pour but de traduire un texte écrit en un texte codé numériquement. Il faut distinguer deux reconnaissances distinctes, avec des problématiques et des solutions différentes : la reconnaissance en-ligne ; la reconnaissance hors-ligne. La reconnaissance de l’écriture manuscrite fait appel à la reconnaissance de forme, mais également au traitement automatique du langage naturel.
OmicronOmicron (capitale Ο, minuscule ο ; en grec όμικρον) est la lettre de l'alphabet grec, précédée par xi et suivie par pi. Dérivée de la lettre eyn 𐤏 de l'alphabet phénicien, elle est à l'origine de la lettre O de l'alphabet latin et de la lettre О de l'alphabet cyrillique. « Omicron » signifie littéralement « petit o », par contraste avec l'oméga, le « grand o ». En grec moderne, omicron représente la voyelle mi-ouverte postérieure arrondie .
