Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Modèle de langageEn traitement automatique des langues, un modèle de langage ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle. Un modèle de langage peut par exemple prédire le mot suivant dans une séquence de mots. Un modèle de langage n-gramme est un modèle de langage qui modélise des séquences de mots comme un processus de Markov. Il utilise l'hypothèse simplificatrice selon laquelle la probabilité du mot suivant dans une séquence ne dépend que d'une fenêtre de taille fixe de mots précédents.
Mémorisationvignette|Exercice de mémorisation En psychologie, la mémorisation est le processus par lequel un être vivant enregistre des informations et des connaissances dans sa mémoire. Ce processus peut être conscient, facilité par la mnémotechnique ou d'autres méthodes, ou bien réalisé inconsciemment, par exemple lors du sommeil. Tony Buzan, Tout sur la mémoire, Eyrolles, 2010. César Florès, La mémoire, , PUF, 1972. Alain Lieury, Le livre de la mémoire, Paris, Dunod, 2013. Frances Yates, ''L'Art de la mémoire, Gallimard, Bibliothèque des Histoires, 1975.
Régularité (perception)thumb|Carreaux de faïence d'Iznik (seconde moitié du , Musée du Louvre, Département des arts de l'Islam). La nature, les arts et techniques et les abstractions peuvent présenter des régularités, qu'on désigne en anglais par le mot pattern. La traduction de pattern en français varie beaucoup selon le contexte. On peut le traduire notamment par patron (dont il est issu étymologiquement), modèle, forme, motif, schéma, structure ou régularité. Les éléments d'une régularité se répètent de façon prévisible.
Transformeurvignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).
Reconnaissance de formesthumb|Reconnaissance de forme à partir de modélisation en 3D La reconnaissance de formes (ou parfois reconnaissance de motifs) est un ensemble de techniques et méthodes visant à identifier des régularités informatiques à partir de données brutes afin de prendre une décision dépendant de la catégorie attribuée à ce motif. On considère que c'est une branche de l'intelligence artificielle qui fait largement appel aux techniques d'apprentissage automatique et aux statistiques.
Patron de conceptionEn informatique, et plus particulièrement en développement logiciel, un patron de conception (souvent appelé design pattern) est un arrangement caractéristique de modules, reconnu comme bonne pratique en réponse à un problème de conception d'un logiciel. Il décrit une solution standard, utilisable dans la conception de différents logiciels. Un patron de conception est issu de l'expérience des concepteurs de logiciels. Il décrit un arrangement récurrent de rôles et d'actions joués par des modules d'un logiciel, et le nom du patron sert de vocabulaire commun entre le concepteur et le programmeur.
Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
Generalization errorFor supervised learning applications in machine learning and statistical learning theory, generalization error (also known as the out-of-sample error or the risk) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. Because learning algorithms are evaluated on finite samples, the evaluation of a learning algorithm may be sensitive to sampling error. As a result, measurements of prediction error on the current data may not provide much information about predictive ability on new data.
Behavioral patternIn software engineering, behavioral design patterns are design patterns that identify common communication patterns among objects. By doing so, these patterns increase flexibility in carrying out communication.
Diffusion modelIn machine learning, diffusion models, also known as diffusion probabilistic models or score-based generative models, are a class of latent variable models. They are Markov chains trained using variational inference. The goal of diffusion models is to learn the latent structure of a dataset by modeling the way in which data points diffuse through the latent space. In computer vision, this means that a neural network is trained to denoise images blurred with Gaussian noise by learning to reverse the diffusion process.
Apprentissage par cœurvignette|250px|Un tableau de Nikolaos Gysis de 1883, « apprendre par cœur ». L'apprentissage par cœur ou par cœur est une technique de mémorisation basée sur la répétition. L'idée est que plus l'individu répète une notion, plus il va rapidement être en mesure de rappeler celle-ci. Certaines des alternatives à l'apprentissage par cœur comprennent l'apprentissage par le sens, l'apprentissage associatif, et l'apprentissage actif.
Poids-mouche (patron de conception)En génie logiciel, le poids-mouche (anglais : flyweight) est un patron de conception (design pattern) structurel décrit en 1995 par le Gang of Four. Lorsque de nombreux (petits) objets doivent être manipulés, mais qu'il serait trop coûteux en mémoire s'il fallait instancier tous ces objets, il est judicieux d'implémenter le poids-mouche. Dans le cas d'une classe représentant des données, il est parfois possible de réduire le nombre d'objets à instancier si tous ces objets sont semblables et se différencient sur quelques paramètres.
MnemonicA mnemonic device (nɪˈmɒnɪk ), or memory device, is any learning technique that aids information retention or retrieval (remembering) in the human memory for better understanding. Mnemonics make use of elaborative encoding, retrieval cues, and imagery as specific tools to encode information in a way that allows for efficient storage and retrieval. Mnemonics aid original information in becoming associated with something more accessible or meaningful—which, in turn, provides better retention of the information.
AntipatternEn génie logiciel, les anti-patrons ou antipatterns sont des erreurs courantes de conception des logiciels. Leur nom vient du fait que ces erreurs sont apparues dès les phases de conception du logiciel, notamment par l'absence ou la mauvaise utilisation de patrons de conception, appelés design pattern en anglais. Les anti-patrons se caractérisent souvent par une lenteur excessive du logiciel, des coûts de réalisation ou de maintenance élevés, des comportements anormaux et la présence de bugs.
Jeux d'entrainement, de validation et de testEn apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .
Text-to-image modelA text-to-image model is a machine learning model which takes an input natural language description and produces an image matching that description. Such models began to be developed in the mid-2010s, as a result of advances in deep neural networks. In 2022, the output of state of the art text-to-image models, such as OpenAI's DALL-E 2, Google Brain's , StabilityAI's Stable Diffusion, and Midjourney began to approach the quality of real photographs and human-drawn art.
Régularités naturellesLes régularités dans la nature sont des formes répétées que l'on trouve dans le monde naturel, telles que les spirales, les arbres, la disposition de traits ou de fentes, les chants d'oiseau. Chaque régularité peut être simulée mathématiquement et peut s'expliquer à un niveau physique, chimique ou biologique (sélection naturelle). Cette branche de la mathématique applique des simulations informatiques à une grande gamme de formes. Le philosophe grec Platon (env. 427 – env.
Accumulation du capitalL’accumulation du capital est un phénomène économique d'ordre microéconomique et macroéconomique. Il s'agit soit de l'épargne accumulée par des individus, soit de l'accumulation de capital, comme facteur de production, qui permet d’augmenter la production totale de l’économie. Le concept est issu de l'économie politique classique chez Adam Smith et David Ricardo. Accumulation primitive du capital Dans la Richesse des nations, Adam Smith réfléchit à la formation du capital et à ses origines.
Théorie oméga-cohérenteEn logique mathématique une théorie arithmétique est appelée théorie ω-cohérente (oméga-cohérente) quand, pour toute propriété P des nombres entiers que l'on peut exprimer dans le langage de la théorie, si pour chaque entier n, P(n) est démontrable dans la théorie, alors ¬∀x P(x) n'est pas démontrable dans la théorie (¬ pour la négation, ∀ pour la quantification universelle, « pour tout »). Quand on prend pour P un énoncé clos (qui ne dépend pas de x) on retrouve la définition de la cohérence, appelée parfois dans ce contexte cohérence simple, qui est donc conséquence de l'ω-cohérence.
