Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Apprentissage profondL'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
LangageLe langage est la capacité d'exprimer une pensée et de communiquer au moyen d'un système de signes (vocaux, gestuel, graphiques, tactiles, olfactifs, etc.) doté d'une sémantique, et le plus souvent d'une syntaxe — mais ce n'est pas systématique (la cartographie est un exemple de langage non syntaxique). Fruit d'une acquisition, la langue est une des nombreuses manifestations du langage. Les langages sont constitués de signaux correspondant au support physique de l'information.
Ensemble flouLa théorie des sous-ensembles flous est une théorie mathématique du domaine de l’algèbre abstraite. Elle a été développée par Lotfi Zadeh en 1965 afin de représenter mathématiquement l'imprécision relative à certaines classes d'objets et sert de fondement à la logique floue. Les sous-ensembles flous (ou parties floues) ont été introduits afin de modéliser la représentation humaine des connaissances, et ainsi améliorer les performances des systèmes de décision qui utilisent cette modélisation.
Apprentissage de représentationsEn apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.
Théorie des ensembles approximatifsThéorie des ensembles approximatifs – est un formalisme mathématique proposé en 1982 par le professeur Zdzisław Pawlak. Elle généralise la théorie des ensembles classique. Un ensemble approximatif (anglais : rough set) est un objet mathématique basé sur la logique 3 états. Dans sa première définition, un ensemble approximatif est une paire de deux ensembles : une approximation inférieure et une approximation supérieure. Il existe également un type d'ensembles approximatifs défini par une paire d'ensembles flous (anglais : fuzzy set).
Ensembles disjointsvignette|Trois ensembles disjoints En mathématiques, deux ensembles sont dits disjoints s'ils n'ont pas d'éléments en commun. Par exemple, et sont deux ensembles disjoints. De manière formelle, deux ensembles A et B sont disjoints si leur intersection est l'ensemble vide, c'est-à-dire si (Dans le cas contraire, on dit que A et B « se rencontrent ».) Cette définition s'étend à une famille d'ensembles. Les ensembles d'une famille sont dits disjoints deux à deux ou mutuellement disjoints si deux ensembles quelconques de cette famille sont disjoints.
Family of setsIn set theory and related branches of mathematics, a collection of subsets of a given set is called a family of subsets of , or a family of sets over More generally, a collection of any sets whatsoever is called a family of sets, set family, or a set system. A family of sets may be defined as a function from a set , known as the index set, to , in which case the sets of the family are indexed by members of .
Langue secondeLa notion de langue seconde a deux interprétations principales. L’une provient de la sociolinguistique anglo-saxone, conformément à laquelle une langue seconde est simplement une langue acquise chronologiquement juste après la première, c’est-à-dire après la langue maternelle. Selon une autre interprétation, la notion de langue seconde est englobée dans celle de langue étrangère au sens où c’est une langue autre que la langue maternelle mais se distingue de la langue étrangère par son statut social et, éventuellement, juridique.
Langue construitevignette|Le drapeau des langues construites, représentant la tour de Babel. Une langue construite ou planifiée (ou idéolangue, parfois dénommée langue artificielle, ou conlang pour constructed language en anglais) est une langue créée par une ou plusieurs personnes dans un temps relativement bref, contrairement aux langues naturelles dont l'élaboration est en grande partie spontanée et sans plan d'ensemble. Il est donc parfois difficile de cloisonner les langues dans ces deux catégories.
Acquisition du langageL'acquisition du langage est un domaine de recherche pluridisciplinaire, relevant notamment de la recherche en psychologie et en sciences du langage, qui vise à décrire et comprendre comment l'enfant acquiert le langage, oral ou gestuel, du milieu qui l'entoure. L'acquisition du langage d'un jeune enfant est rapide et s'effectue sans apprentissage formel. Le langage se développe toute la vie, mais c'est surtout entre la naissance et l'âge de cinq ans, que les apprentissages essentiels sont observés.
Apprentissage non superviséDans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite.
MotUn mot est une suite de sons ou de caractères graphiques formant une unité sémantique et pouvant être distingués par un séparateur, par exemple un blanc typographique à l'écrit. En linguistique, un mot est le plus petit élément pouvant être prononcé isolément avec un contenu sémantique ou pragmatique. « Mot » dérive du bas-latin muttum, substantif issu du verbe latin muttire. Ce verbe indique généralement la production d'un discours inarticulé et/ou incohérent : au sens propre, muttire, c'est dire « mu », grogner comme un bovin.
Revitalisation linguistiqueLa revitalisation linguistique est un processus cherchant à empêcher une langue de disparaître et à la faire revivre. Le nombre de s'élève actuellement à quelques dizaines: aïnou, arabe andalou, barngarla, chochenyo, cornique, dalmate, diyari, hawaïen, kaurna, latin, laze, live, léonais, manx, māori, mutsun, gascon, vieux-prussien, palawa kani, sanskrit, wampanoag. Cette liste est ouverte, et des dizaines d'autres langues pourraient y être incluses, tant les efforts de revitalisation linguistique sont répandus dans le monde.
Algèbre d'ensemblesLe concept intervient dans l'exposition des bases de la théorie de la mesure, sous des noms assez variés dans les sources en français : outre algèbre d'ensembles, et sa variante corps d'ensembles, on trouve aussi algèbre de Boole de parties, ou plus brièvement algèbre de Boole, voire simplement algèbre, et encore anneau booléen unitaire ou clan unitaire. Cette définition évoque celle d'une tribu ; en les rapprochant on constate immédiatement qu'un ensemble de parties d'un ensemble est une tribu si et seulement si c'est une algèbre d'ensembles stable par réunion dénombrable.
Algèbre des parties d'un ensembleEn théorie des ensembles, l'ensemble des parties d'un ensemble, muni des opérations d'intersection, de réunion, et de passage au complémentaire, possède une structure d'algèbre de Boole. D'autres opérations s'en déduisent, comme la différence ensembliste et la différence symétrique. L'algèbre des parties d'un ensemble étudie l'arithmétique de ces opérations (voir l'article « Opération ensembliste » pour des opérations qui ne laissent pas stable l'ensemble des parties d'un ensemble).
Apprentissage auto-superviséL'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.
Word2vecEn intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.
InterpretabilityIn mathematical logic, interpretability is a relation between formal theories that expresses the possibility of interpreting or translating one into the other. Assume T and S are formal theories. Slightly simplified, T is said to be interpretable in S if and only if the language of T can be translated into the language of S in such a way that S proves the translation of every theorem of T. Of course, there are some natural conditions on admissible translations here, such as the necessity for a translation to preserve the logical structure of formulas.
