Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Modèle de langageEn traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.
Mémoire (psychologie)thumb|350px|Les formes et fonctions de la mémoire en sciences. En psychologie, la mémoire est la faculté de l'esprit d'enregistrer, conserver et rappeler les expériences passées. Son investigation est réalisée par différentes disciplines : psychologie cognitive, neuropsychologie, et psychanalyse. thumb|Pyramide des cinq systèmes de mémoire. Le courant cognitiviste classique regroupe habituellement sous le terme de mémoire les processus dencodage, de stockage et de récupération des représentations mentales.
Apprentissage non superviséDans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite.
Méthode des locivignette|Buste de Cicéron, l'un des plus célèbres utilisateurs de cette technique. La méthode des loci \lɔ.ki\ (« lieux » en latin) , méthode des lieux ou plus récemment palais de la mémoire, ou encore palais mental est une méthode mnémotechnique, ou « art de mémoire », pratiquée depuis l'Antiquité ; le poète Simonide de Céos en serait l'inventeur. Elle sert principalement à mémoriser de longues listes d'éléments ordonnés. Elle est fondée sur le souvenir de lieux déjà bien connus, auxquels on associe par divers moyens les éléments nouveaux que l'on souhaite mémoriser.
Répétition espacéeLa répétition espacée est une technique d'apprentissage qui consiste à se faire interroger (ou s'auto-interroger) d'autant moins souvent qu'on maîtrise la question. Cette méthode part d'un constat apparemment évident : la mémoire humaine n'est pas parfaitement fiable et l'on oublie souvent ce que l'on a appris. Par contre, l'oubli est rarement total, et si l'on apprend à nouveau ce que l'on a déjà appris, on oublie moins vite.
OubliL’oubli (du latin oblītus, dérivé de ob- liveo, au sens de ) est un état caractérisé par l'apparente absence ou la disparition effective de souvenirs, une défaillance de la mémoire. L'oubli est présent chez Homère. Il est dépeint comme un danger et une opportunité. Lorsque, dans l'Odyssée, Ulysse arrive sur l’île des Lotophages (mangeurs de lotos, le « fruit de miel »), il découvre que cette nourriture provoque l'oubli chez ceux qui la mange, et que cela permet aux aborigènes de l'île de vivre en paix.
Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
CopyrightLe copyright, souvent indiqué par le symbole ©, est, dans les pays de common law, l’ensemble des prérogatives exclusives dont dispose une personne physique ou morale sur une œuvre de l’esprit originale. Il désigne donc un ensemble de lois en application, notamment, dans les pays du Commonwealth et aux États-Unis ; et qui diffère du droit d'auteur appliqué dans les pays de droit civil (tels que la France ou la Belgique) même si le terme est usité dans le langage courant.
Interference theoryThe interference theory is a theory regarding human memory. Interference occurs in learning. The notion is that memories encoded in long-term memory (LTM) are forgotten and cannot be retrieved into short-term memory (STM) because either memory could interfere with the other. There is an immense number of encoded memories within the storage of LTM. The challenge for memory retrieval is recalling the specific memory and working in the temporary workspace provided in STM.
Apprentissage de représentationsEn apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.
Tableau (structure de données)En informatique, un tableau est une structure de données représentant une séquence finie d'éléments auxquels on peut accéder efficacement par leur position, ou indice, dans la séquence. C'est un type de conteneur que l'on retrouve dans un grand nombre de langages de programmation. Dans les langages à typage statique (comme C, Java et OCaml), tous les éléments d’un tableau doivent être du même type. Certains langages à typage dynamique (tels APL et Python) permettent des tableaux hétérogènes.
Chunking (psychology)In cognitive psychology, chunking is a process by which small individual pieces of a set of information are bound together to create a meaningful whole later on in memory. The chunks, by which the information is grouped, are meant to improve short-term retention of the material, thus bypassing the limited capacity of working memory and allowing the working memory to be more efficient. A chunk is a collection of basic units that are strongly associated with one another, and have been grouped together and stored in a person's memory.
Hallucination (intelligence artificielle)Dans le domaine de l’intelligence artificielle, une hallucination est une réponse manifestement fausse qui est présentée comme un fait certain. Par exemple, un chatbot qui invente un chiffre d’affaires pour une entreprise sans avoir de données à ce sujet. Ce phénomène est appelé « hallucination » par analogie avec le phénomène de l’hallucination en psychologie humaine. Le terme hallucination en intelligence artificielle a pris de l'importance vers 2022 parallèlement au déploiement des modèles de langage basés sur l'apprentissage profond tels que ChatGPT.
Jeux d'entrainement, de validation et de testEn apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .
Dépendance aux réseaux sociauxLa dépendance est un phénomène lié au besoin incontrôlable et insatiable de consommer des gens ou d'adopter un comportement, qui comporte des conséquences aux niveaux physiologique, psychologique et social. La dépendance aux réseaux sociaux est un phénomène lié à une utilisation excessive des réseaux sociaux et fait référence à un trouble psychologique qui se caractérise par le besoin excessif d'utiliser les plateformes de médias sociaux telles que Facebook, Instagram, Twitter, Snapchat, youtube,etc.
Langage de modélisationUn langage de modélisation est un langage artificiel qui peut être utilisé pour exprimer de l'information ou de la connaissance ou des systèmes dans une structure qui est définie par un ensemble cohérent de règles. Les règles sont utilisées pour l'interprétation de la signification des composants dans la structure. Un langage de modélisation peut être graphique ou textuel.
Analyse du cycle de vieL'analyse du cycle de vie (ACV) est une méthode d'évaluation normalisée (ISO 14040 et 14044) permettant de réaliser un bilan environnemental multicritère et multi-étape d'un système (produit, service, entreprise ou procédé) sur l'ensemble de son cycle de vie. Son but est de connaître et pouvoir comparer les impacts environnementaux d'un système tout au long de son cycle de vie, de l'extraction des matières premières nécessaires à sa fabrication à son traitement en fin de vie (mise en décharge, recyclage...
Modèle statistiqueUn modèle statistique est une description mathématique approximative du mécanisme qui a généré les observations, que l'on suppose être un processus stochastique et non un processus déterministe. Il s’exprime généralement à l’aide d’une famille de distributions (ensemble de distributions) et d’hypothèses sur les variables aléatoires X1, . . ., Xn. Chaque membre de la famille est une approximation possible de F : l’inférence consiste donc à déterminer le membre qui s’accorde le mieux avec les données.
Méthode scientifiqueLa méthode scientifique désigne l'ensemble des canons guidant ou devant guider le processus de production des connaissances scientifiques, qu'il s'agisse d'observations, d'expériences, de raisonnements, ou de calculs théoriques. Très souvent, le terme de « méthode » engage l'idée implicite de son unicité, tant auprès du grand public que de certains chercheurs, qui de surcroît la confondent parfois avec la seule méthode hypothético-déductive.
