Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Long short-term memoryLong short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".
SemEvalSemEval (Semantic Evaluation) is an ongoing series of evaluations of computational semantic analysis systems; it evolved from the Senseval word sense evaluation series. The evaluations are intended to explore the nature of meaning in language. While meaning is intuitive to humans, transferring those intuitions to computational analysis has proved elusive. This series of evaluations is providing a mechanism to characterize in more precise terms exactly what is necessary to compute in meaning.
Apprentissage profondL'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Information extractionInformation extraction (IE) is the task of automatically extracting structured information from unstructured and/or semi-structured machine-readable documents and other electronically represented sources. In most of the cases this activity concerns processing human language texts by means of natural language processing (NLP). Recent activities in multimedia document processing like automatic annotation and content extraction out of images/audio/video/documents could be seen as information extraction Due to the difficulty of the problem, current approaches to IE (as of 2010) focus on narrowly restricted domains.
Extraction de connaissancesL'extraction de connaissances est le processus de création de connaissances à partir d'informations structurées (bases de données relationnelles, XML) ou non structurées (textes, documents, images). Le résultat doit être dans un format lisible par les ordinateurs. Le groupe RDB2RDF W3C est en cours de standardisation d'un langage d'extraction de connaissances au format RDF à partir de bases de données. En français on parle d'« extraction de connaissances à partir des données » (ECD).
Trouble du déficit de l'attention avec ou sans hyperactivitéLe trouble déficit de l'attention avec ou sans hyperactivité (TDAH ; en anglais : attention deficit hyperactivity disorder, ADHD) est un trouble du neurodéveloppement caractérisé par trois types de symptômes pouvant se manifester seuls ou combinés : des difficultés d'attention et son contrôle, des symptômes d'hyperactivité et d'hyperkinésie et des problèmes de gestion de l'impulsivité. Le trouble est reconnu lorsque ces symptômes se manifestent de manière persistante, sur six mois ou plus, et de manière suffisamment importante pour poser un obstacle développemental ou perturber l'insertion sociale ou encore le travail scolaire.
Anaphore (grammaire)En grammaire, une anaphore (du grec ἀναφορά, reprise, rapport) est un mot ou un syntagme qui, dans un énoncé, assure une reprise sémantique d'un précédent segment appelé antécédent. Sans cet antécédent, l'anaphore perd son sens. C’est pourquoi elle doit toujours être liée avec un autre élément dans la phrase. Les anaphores permettent des interprétations principalement locales. On retrouve cependant des preuves d'anaphore ayant un référent plus éloigné dans l'ouvrage de Koster et Reuland (1991).
Computational semanticsComputational semantics is the study of how to automate the process of constructing and reasoning with meaning representations of natural language expressions. It consequently plays an important role in natural-language processing and computational linguistics. Some traditional topics of interest are: construction of meaning representations, semantic underspecification, anaphora resolution, presupposition projection, and quantifier scope resolution. Methods employed usually draw from formal semantics or statistical semantics.
Attentionthumb|250px|Jeune fille se concentrant sur une tâche manuelle ; le regard, la respiration, la position du corps et en particulier des mains et le contrôle neuro musculaire sont mobilisés de concert pour assurer la précision du mouvement L'attention est la faculté de l'esprit de se consacrer à un objet : d'utiliser ses capacités à l'observation, l'étude, le jugement d'une chose quelle qu'elle soit, ou encore à la pratique d'une action.
Fouille de textesLa fouille de textes ou « l'extraction de connaissances » dans les textes est une spécialisation de la fouille de données et fait partie du domaine de l'intelligence artificielle. Cette technique est souvent désignée sous l'anglicisme text mining. Elle désigne un ensemble de traitements informatiques consistant à extraire des connaissances selon un critère de nouveauté ou de similarité dans des textes produits par des humains pour des humains.
CoréférenceEn linguistique, la coréférence est le phénomène qui consiste pour plusieurs syntagmes nominaux (SN) différents contenus dans une phrase ou dans un discours, à désigner la même entité. Par exemple une personne, un lieu, un événement, ou encore une date. Dans la terminologie linguistique, on dit qu'une coréférence est reliée à son antécédent. Pour que les syntagmes se coréférent, les deux expressions doivent porter les mêmes trait-φ. C'est-à-dire qu'ils doivent être en accord en genre, en nombre et en personne.
Calcul des propositionsLe calcul des propositions ou calcul propositionnel, (ou encore logique des propositions) fait partie de la logique mathématique. Il a pour objet l'étude des relations logiques entre « propositions » et définit les lois formelles selon lesquelles les propositions complexes sont formées en assemblant des propositions simples au moyen des connecteurs logiques et celles-ci sont enchaînées pour produire des raisonnements valides. Il est un des systèmes formels, piliers de la logique mathématique dont il aide à la formulation des concepts.
Conditionnels contrefactuelsLes conditionnels contrefactuels (counterfactual conditionals en anglais) sont des propositions utilisées pour exprimer une situation hypothétique dans le passé et de leur conséquences imaginaires. Cette construction grammaticale est utilisée pour spéculer sur des situations qui n'ont pas réellement eu lieu, mais qui auraient pu se produire si les circonstances avaient été différentes. Le conditionnel contrefactuel se présente généralement sous la forme « Si A était le cas, alors B serait le cas ».
Personal pronouns in PortugueseThe Portuguese personal pronouns and possessives display a higher degree of inflection than other parts of speech. Personal pronouns have distinct forms according to whether they stand for a subject (nominative), a direct object (accusative), an indirect object (dative), or a reflexive object. Several pronouns further have special forms used after prepositions. The possessive pronouns are the same as the possessive adjectives, but each is inflected to express the grammatical person of the possessor and the grammatical gender of the possessed.
Nombre grammaticalLe nombre est, en grammaire et linguistique, un trait grammatical indiquant la quantité et caractérisant certains lemmes comme les noms et adjectifs, les pronoms ainsi que les verbes. Dans le système nominal et pronominal, le nombre représente, de manière plus ou moins précise, la quantité d’unités du lemme (une unité : chat, plusieurs unités : chats). Dans le système verbal, il n’est souvent que la représentation du nombre d’un nom ou d’un pronom liés à ce verbe (jouant le plus souvent le rôle de sujet).
Règle de résolutionEn logique mathématique, la règle de résolution ou principe de résolution de Robinson est une règle d'inférence logique qui généralise le modus ponens. Cette règle est principalement utilisée dans les systèmes de preuve automatiques, elle est à la base du langage de programmation logique Prolog. La règle du modus ponens s'écrit et se lit : de p et de "p implique q", je déduis q. On peut réécrire l'implication "p implique q" comme "p est faux ou q est vraie". Ainsi, la règle du modus ponens s'écrit .
