Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Modèle de langageEn traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.
Entrée-sortieDans un système à base de processeur, de microprocesseur, de microcontrôleur ou d'automate, on appelle entrée-sortie toute interface permettant d’échanger des données entre le processeur et les périphériques qui lui sont associés. De la sorte, le système peut réagir à des modifications de son environnement, voire le contrôler. Elles sont parfois désignées par l'acronyme I/O, issu de l'anglais Input/Output ou encore E/S pour entrée/sortie. Dans un système d'exploitation : les entrées sont les données envoyées par un périphérique (disque, réseau, clavier, capteur.
Plongement lexicalLe plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.
Neural machine translationNeural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.
Périphérique d'entréeUn périphérique d'entrée est un équipement informatique périphérique permettant de fournir des données à un système de traitement de l'information tel qu'un ordinateur. vignette|Un clavier d'ordinateur, périphérique d'entrée pour transmettre de l'information en pressant des touches En informatique, les logiciels ont souvent besoin d'entrée fournies par l'utilisateur. Afin de permettre à ce dernier d'interagir avec l'ordinateur, différents types de dispositifs électroniques ont été développés au cours du temps, avec plus ou moins de succès.
Génération automatique de textesLa génération automatique de texte (GAT) est une sous discipline de la linguistique computationnelle qui vise à exprimer sous une forme textuelle, syntaxiquement et sémantiquement correcte, une représentation formelle d'un contenu. Outre ses nombreuses applications existantes ou potentielles - par exemple pour produire automatiquement des bulletins météorologiques, ou des rapports automatisés - elle offre par ailleurs un cadre d'investigation des théories linguistiques, et particulièrement de ses mécanismes de production.
Multilinguismethumb|right|Le logo de la Confédération suisse, dont l’allemand, le français, l'italien et le romanche sont les quatre langues nationales thumb|Enseigne multilingue à l’aéroport international de Vancouver. Texte en anglais, français et chinois affiché de façon permanente, tandis que le panneau de droite est un écran qui montre d’autres langues à tour de rôle. Le mot multilinguisme (ainsi que plurilinguisme) décrit le fait qu'une communauté, ou une personne, soit multilingue (ou plurilingue), c'est-à-dire qu'elle soit capable de s'exprimer dans plusieurs langues.
Diffusion modelIn machine learning, diffusion models, also known as diffusion probabilistic models or score-based generative models, are a class of latent variable models. They are Markov chains trained using variational inference. The goal of diffusion models is to learn the latent structure of a dataset by modeling the way in which data points diffuse through the latent space. In computer vision, this means that a neural network is trained to denoise images blurred with Gaussian noise by learning to reverse the diffusion process.
Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Inductive probabilityInductive probability attempts to give the probability of future events based on past events. It is the basis for inductive reasoning, and gives the mathematical basis for learning and the perception of patterns. It is a source of knowledge about the world. There are three sources of knowledge: inference, communication, and deduction. Communication relays information found using other methods. Deduction establishes new facts based on existing facts. Inference establishes new facts from data. Its basis is Bayes' theorem.
Conceptual modelA conceptual model is a representation of a system. It consists of concepts used to help people know, understand, or simulate a subject the model represents. In contrast, a physical model focuses on a physical object such as a toy model that may be assembled and made to work like the object it represents. The term may refer to models that are formed after a conceptualization or generalization process. Conceptual models are often abstractions of things in the real world, whether physical or social.
Analyse sémantique latenteL’analyse sémantique latente (LSA, de l'anglais : Latent semantic analysis) ou indexation sémantique latente (ou LSI, de l'anglais : Latent semantic indexation) est un procédé de traitement des langues naturelles, dans le cadre de la sémantique vectorielle. La LSA fut brevetée en 1988 et publiée en 1990. Elle permet d'établir des relations entre un ensemble de documents et les termes qu'ils contiennent, en construisant des « concepts » liés aux documents et aux termes.
Transformateur électriqueUn transformateur électrique (parfois abrégé en « transfo ») est une machine électrique permettant de modifier la tension efficace délivrée par une source d'énergie électrique alternative, une transformation qu'il effectue avec un excellent rendement. On distingue les transformateurs statiques et les commutatrices. Dans un transformateur statique, l'énergie est transférée du primaire au secondaire par l'intermédiaire du circuit magnétique que constitue la carcasse du transformateur.
Algèbre de LieEn mathématiques, une algèbre de Lie, nommée en l'honneur du mathématicien Sophus Lie, est un espace vectoriel qui est muni d'un crochet de Lie, c'est-à-dire d'une loi de composition interne bilinéaire, alternée, et qui vérifie la relation de Jacobi. Une algèbre de Lie est un cas particulier d'algèbre sur un corps. Soit K un corps commutatif. Une algèbre de Lie sur K est un espace vectoriel sur K muni d'une application bilinéaire de dans qui vérifie les propriétés suivantes : Le produit est appelé crochet de Lie (ou simplement crochet) de et .
Système embarquéUn système embarqué est un système électronique et informatique autonome, souvent temps réel, spécialisé dans une tâche précise. Le terme désigne aussi bien le matériel informatique que le logiciel utilisé. Ses ressources sont généralement limitées spatialement (encombrement réduit) et énergétiquement (consommation restreinte). L'un des premiers systèmes modernes embarqués reconnaissables a été le Apollo Guidance Computer en 1967, le système de guidage de la mission lunaire Apollo, développé par Charles Stark Draper du Massachusetts Institute of Technology.
Méthode de saisievignette|Saisie logiciellement assistée de caractères chinois. Une méthode de saisie, également méthode d'entrée (de l'input method), est un programme ou un composant d'un système d'exploitation qui permet aux utilisateurs d'un ordinateur de saisir des caractères complexes et des symboles, tels que les caractères chinois, l'alphabet coréen, le système d'écriture japonais ou ceux de langues d'origine indienne (sanskrit, tamoul, tibétain, etc.), à l'aide d'un clavier occidental classique.
Lama (animal)Le lama blanc (Lama glama), ou plus simplement lama, est une espèce de Camélidés d'Amérique du Sud, mais ses origines lointaines ont été retracées jusqu'en Amérique du Nord, d'où il a disparu à la période de l'Éocène. Il a été domestiqué de longue date à partir du guanaco. La sélection par les éleveurs a donné plusieurs races ou variétés caractérisées par leur fourrure plus ou moins longue.
Phase converterA phase converter is a device that converts electric power provided as single phase to multiple phase or vice versa. The majority of phase converters are used to produce three-phase electric power from a single-phase source, thus allowing the operation of three-phase equipment at a site that only has single-phase electrical service. Phase converters are used where three-phase service is not available from the utility provider or is too costly to install.
