Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Attentionthumb|250px|Jeune fille se concentrant sur une tâche manuelle ; le regard, la respiration, la position du corps et en particulier des mains et le contrôle neuro musculaire sont mobilisés de concert pour assurer la précision du mouvement L'attention est la faculté de l'esprit de se consacrer à un objet : d'utiliser ses capacités à l'observation, l'étude, le jugement d'une chose quelle qu'elle soit, ou encore à la pratique d'une action.
Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Neural machine translationNeural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.
Psychologie cognitiveLa psychologie cognitive, ou psychologie de la connaissance, étudie les grandes fonctions psychologiques de l'être humain que sont la mémoire, le langage, l'intelligence, le raisonnement, la résolution de problèmes, la perception, l'attention et, , les émotions, inhérentes à la psychologie cognitive. La psychologie cognitive est l'étude de l'ensemble des états mentaux et l'ensemble des processus psychiques, en résumé : l'étude des activités mentales, qui fournissent à l'homme une représentation interne, une analyse de données externes, et ce, à des fins de prise de décisions et/ou d'actions.
Neurosciences cognitivesLes neurosciences cognitives sont le domaine de recherche dans lequel sont étudiés les mécanismes neurobiologiques qui sous-tendent la cognition (perception, motricité, langage, mémoire, raisonnement, émotions...). C'est une branche des sciences cognitives qui fait appel pour une large part aux neurosciences, à la neuropsychologie, à la psychologie cognitive, à l' ainsi qu'à la modélisation.
Sciences cognitivesthumb|283x283px|Les six disciplines scientifiques constituant les sciences cognitives et leurs liens interdisciplinaires, par l'un des pères fondateurs du domaine, G. A. Miller. Les traits pleins symbolisent les disciplines entre lesquelles existaient déjà des liens scientifiques à la naissance des sciences cognitives ; en pointillés, les disciplines entre lesquelles des interfaces se sont développées depuis lors.
Apprentissage auto-superviséL'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.
Cognitive mapA cognitive map is a type of mental representation which serves an individual to acquire, code, store, recall, and decode information about the relative locations and attributes of phenomena in their everyday or metaphorical spatial environment. The concept was introduced by Edward Tolman in 1948. He tried to explain the behavior of rats that appeared to learn the spatial layout of a maze, and subsequently the concept was applied to other animals, including humans.
Analyse sémantique latenteL’analyse sémantique latente (LSA, de l'anglais : Latent semantic analysis) ou indexation sémantique latente (ou LSI, de l'anglais : Latent semantic indexation) est un procédé de traitement des langues naturelles, dans le cadre de la sémantique vectorielle. La LSA fut brevetée en 1988 et publiée en 1990. Elle permet d'établir des relations entre un ensemble de documents et les termes qu'ils contiennent, en construisant des « concepts » liés aux documents et aux termes.
Mémoire spatialevignette|La mémoire spatiale est nécessaire pour naviguer dans un environnement. La mémoire spatiale est la partie de la mémoire d'un individu responsable de l'enregistrement des informations concernant l'espace environnant et l'orientation spatiale de l'individu dans celui-ci. La mémoire spatiale est ainsi requise pour la navigation spatiale dans un lieu connu, comme dans un quartier familier. Elle est étudiée en neuroscience (chez le rat) et en psychologie cognitive (chez l'homme).
Allocation de Dirichlet latenteDans le domaine du traitement automatique des langues, l’allocation de Dirichlet latente (de l’anglais Latent Dirichlet Allocation) ou LDA est un modèle génératif probabiliste permettant d’expliquer des ensembles d’observations, par le moyen de groupes non observés, eux-mêmes définis par des similarités de données. Par exemple, si les observations () sont les mots collectés dans un ensemble de documents textuels (), le modèle LDA suppose que chaque document () est un mélange () d’un petit nombre de sujets ou thèmes ( topics), et que la génération de chaque occurrence d’un mot () est attribuable (probabilité) à l’un des thèmes () du document.
Analyse sémantique latente probabilisteL’analyse sémantique latente probabiliste (de l'anglais, Probabilistic latent semantic analysis : PLSA), aussi appelée indexation sémantique latente probabiliste (PLSI), est une méthode de traitement automatique des langues inspirée de l'analyse sémantique latente. Elle améliore cette dernière en incluant un modèle statistique particulier. La PLSA possède des applications dans le filtrage et la recherche d'information, le traitement des langues naturelles, l'apprentissage automatique et les domaines associés.
Spatial cognitionSpatial cognition is the acquisition, organization, utilization, and revision of knowledge about spatial environments. It is most about how animals including humans behave within space and the knowledge they built around it, rather than space itself. These capabilities enable individuals to manage basic and high-level cognitive tasks in everyday life. Numerous disciplines (such as cognitive psychology, neuroscience, artificial intelligence, geographic information science, cartography, etc.
Concept de soivignette|La perception de soi est définie par le concept de soi, la connaissance de soi, l'estime de soi et le soi social. Le concept de soi, de l'anglais self-concept, est un ensemble de croyances à propos de soi-même qui inclut des éléments tels que la performance académique, l'identité de genre, l'identité sexuelle et l'identité ethnique. Dans le langage courant, le concept de soi répond à la question « Qui suis-je ? ». vignette|Le concept de soi est constitué d'auto-schémas et du soi passé, présent et futur.
ApprentissageL’apprentissage est un ensemble de mécanismes menant à l'acquisition de savoir-faire, de savoirs ou de connaissances. L'acteur de l'apprentissage est appelé apprenant. On peut opposer l'apprentissage à l'enseignement dont le but est de dispenser des connaissances et savoirs, l'acteur de l'enseignement étant l'enseignant.
Dissonance cognitiveEn psychologie sociale, la dissonance cognitive est la tension interne propre au système de pensées, croyances, émotions et attitudes (cognitions) d'une personne lorsque plusieurs d'entre elles entrent en contradiction les unes avec les autres. Le terme désigne également la tension qu'une personne ressent lorsqu'un comportement entre en contradiction avec ses idées ou croyances. Ce concept a été formulé pour la première fois par le psychologue Leon Festinger dans son ouvrage A theory of cognitive dissonance (1957).
Learning spaceLearning space or learning setting refers to a physical setting for a learning environment, a place in which teaching and learning occur. The term is commonly used as a more definitive alternative to "classroom," but it may also refer to an indoor or outdoor location, either actual or virtual. Learning spaces are highly diverse in use, configuration, location, and educational institution. They support a variety of pedagogies, including quiet study, passive or active learning, kinesthetic or physical learning, vocational learning, experiential learning, and others.
Styles d'apprentissageLes styles d’apprentissage constituent une gamme de théories concurrentes et contestées qui, à partir d’un concept commun selon lequel les apprenants diffèreraient dans la façon d’acquérir leur connaissances, vise à tenir compte desdites différences d’acquisition supposées chez les apprenants. Bien que ces diverses théories divergent dans leurs vues sur la façon dont lesdits styles doivent être définis et classés, ces théories suggèrent que tous les apprenants pourraient être étiquetés en fonction d’un « style » d’apprentissage particulier comme « visuel », « auditif », « kinesthésique », « tactile », etc.
