Grand modèle de langageUn grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.
Modèle de fondationUn modèle de fondation est un modèle d'intelligence artificielle de grande taille, entraîné sur une grande quantité de données non étiquetées (généralement par apprentissage auto-supervisé ). Le modèle résultant peut être adapté à un large éventail de tâches en aval (downstream tasks en anglais). Depuis leur introduction en 2018, les modèles de fondation ont induit une transformation majeure dans la manière de construire les systèmes d'IA. Les premiers modèles de fondation étaient de grands modèles de langage pré-entraînés, notamment BERT et GPT-3.
Transformeur génératif pré-entraînédroite|vignette| Architecture du modèle GPT Le transformeur génératif pré-entraîné (ou GPT, de l’anglais generative pre-trained transformer) est une famille de modèles de langage généralement formée sur un grand corpus de données textuelles pour générer un texte de type humain. Il est construit en utilisant plusieurs blocs de l'architecture du transformeur. Ils peuvent être affinés pour diverses tâches de traitement du langage naturel telles que la génération de texte, la traduction de langue et la classification de texte.
ConnaissanceLa connaissance est une notion aux sens multiples, à la fois utilisée dans le langage courant et objet d'étude poussée de la part des sciences cognitives et des philosophes contemporains. Les connaissances, leur nature et leur variété, la façon dont elles sont acquises, leur processus d'acquisition, leur valeur et leur rôle dans les sociétés humaines, sont étudiés par une diversité de disciplines, notamment la philosophie, l'épistémologie, la psychologie, les sciences cognitives, l'anthropologie et la sociologie.
Long short-term memoryLong short-term memory (LSTM) network is a recurrent neural network (RNN), aimed to deal with the vanishing gradient problem present in traditional RNNs. Its relative insensitivity to gap length is its advantage over other RNNs, hidden Markov models and other sequence learning methods. It aims to provide a short-term memory for RNN that can last thousands of timesteps, thus "long short-term memory".
Mémoire non volatileUne mémoire non volatile est une mémoire informatique qui conserve ses données en l'absence d'alimentation électrique. On distingue plusieurs types de mémoires non volatiles : les mémoires à base de papier, par exemple les rubans perforés et les cartes perforées ; les mémoires à base de semi-conducteurs, par exemple les mémoires mortes (ROM) et les mémoires RAM non volatiles (NVRAM) ; les mémoires utilisant un support magnétique, par exemple les disquettes (floppy disks) et les disques durs (hard disks) ; les mémoires utilisant une surface réfléchissante lue par un laser, par exemple les CD et les DVD.
Réseau neuronal résidueldroite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).
Declarative knowledgeDeclarative knowledge is an awareness of facts that can be expressed using declarative sentences, like knowing that Princess Diana died in 1997. It is also called theoretical knowledge, descriptive knowledge, propositional knowledge, and knowledge-that. It is not restricted to one specific use or purpose and can be stored in books or on computers. Epistemology is the main discipline studying declarative knowledge. Among other things, it studies the essential components of declarative knowledge.
Memory pagingIn computer operating systems, memory paging (or swapping on some Unix-like systems) is a memory management scheme by which a computer stores and retrieves data from secondary storage for use in main memory. In this scheme, the operating system retrieves data from secondary storage in same-size blocks called pages. Paging is an important part of virtual memory implementations in modern operating systems, using secondary storage to let programs exceed the size of available physical memory.
Definitions of knowledgeDefinitions of knowledge try to determine the essential features of knowledge. Closely related terms are conception of knowledge, theory of knowledge, and analysis of knowledge. Some general features of knowledge are widely accepted among philosophers, for example, that it constitutes a cognitive success or an epistemic contact with reality and that propositional knowledge involves true belief. Most definitions of knowledge in analytic philosophy focus on propositional knowledge or knowledge-that, as in knowing that Dave is at home, in contrast to knowledge-how (know-how) expressing practical competence.
Implicit memoryIn psychology, implicit memory is one of the two main types of long-term human memory. It is acquired and used unconsciously, and can affect thoughts and behaviours. One of its most common forms is procedural memory, which allows people to perform certain tasks without conscious awareness of these previous experiences; for example, remembering how to tie one's shoes or ride a bicycle without consciously thinking about those activities.
Mémoire temporelle et hiérarchiqueLa mémoire temporelle et hiérarchique (en anglais Hierarchical temporal memory (HTM)) est un modèle d'apprentissage automatique développé par Jeff Hawkins et Dileep George de la compagnie Numenta. Il modélise certaines propriétés structurelles et algorithmiques du néocortex. C'est un modèle biomimétique fondé sur le paradigme mémoire-prédiction, une théorie du fonctionnement du cerveau élaborée par Jeff Hawkins dans son livre On Intelligence.
Mémoire vive dynamiqueLa mémoire vive dynamique (en anglais DRAM pour Dynamic Random Access Memory) est un type de mémoire vive compacte et peu dispendieuse. La simplicité structurelle de la DRAM — un pico-condensateur et un transistor pour un bit — permet d'obtenir une densité élevée. Son inconvénient réside dans les courants de fuite des pico-condensateurs : l'information disparaît à moins que la charge des condensateurs ne soit rafraîchie avec une période de quelques millisecondes. D'où le terme de dynamique.
Memory consolidationMemory consolidation is a category of processes that stabilize a memory trace after its initial acquisition. A memory trace is a change in the nervous system caused by memorizing something. Consolidation is distinguished into two specific processes. The first, synaptic consolidation, which is thought to correspond to late-phase long-term potentiation, occurs on a small scale in the synaptic connections and neural circuits within the first few hours after learning.
Memory protectionMemory protection is a way to control memory access rights on a computer, and is a part of most modern instruction set architectures and operating systems. The main purpose of memory protection is to prevent a process from accessing memory that has not been allocated to it. This prevents a bug or malware within a process from affecting other processes, or the operating system itself. Protection may encompass all accesses to a specified area of memory, write accesses, or attempts to execute the contents of the area.
MontageLe montage est, en audiovisuel, l'action d'assembler bout à bout plusieurs plans pour former des séquences qui forment à leur tour un film. Alfred Hitchcock est l’auteur d’un aphorisme vigoureux : Montage de fiction : Le montage de fiction est la fabrication proprement dite de la bande image et de la bande son (ou de plusieurs bandes son) d’un film joué par des comédiens, à partir des éléments fournis par l’enregistrement au tournage des plans définis par le réalisateur dans son découpage technique, ou dessinés sur le storyboard (ou ) selon ses indications.
Codage neuronalLe codage neuronal désigne, en neurosciences, la relation hypothétique entre le stimulus et les réponses neuronales individuelles ou globales. C'est une théorie sur l'activité électrique du système nerveux, selon laquelle les informations, par exemple sensorielles, numériques ou analogiques, sont représentées dans le cerveau par des réseaux de neurones. Le codage neuronal est lié aux concepts du souvenir, de l'association et de la mémoire sensorielle.
Mémoire flashvignette|Une clé USB en 2005. La puce de gauche est la mémoire flash, celle de droite le microcontrôleur. vignette|Un lecteur USB de cartes mémoires utilisées par exemple dans les appareils photo numériques. La mémoire flash est une mémoire de masse à semi-conducteurs réinscriptible, c'est-à-dire possédant les caractéristiques d'une mémoire vive mais dont les données ne disparaissent pas lors d'une mise hors tension. La mémoire flash stocke dans des cellules de mémoire les bits de données qui sont conservées lorsque l'alimentation électrique est coupée.
Puissance statistiqueLa puissance statistique d'un test est en statistique la probabilité de rejeter l'hypothèse nulle (par exemple l'hypothèse selon laquelle les groupes sont identiques au regard d'une variable) sachant que l'hypothèse nulle est incorrecte (en réalité les groupes sont différents). On peut l'exprimer sous la forme 1-β où β est le risque de c'est-à-dire le risque de ne pas démontrer que deux groupes sont différents alors qu'ils le sont dans la réalité.
Knowledge sharingKnowledge sharing is an activity through which knowledge (namely, information, skills, or expertise) is exchanged among people, friends, peers, families, communities (for example, Wikipedia), or within or between organizations. It bridges the individual and organizational knowledge, improving the absorptive and innovation capacity and thus leading to sustained competitive advantage of companies as well as individuals. Knowledge sharing is part of the knowledge management process.
