Apprentissage par renforcementEn intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.
Q-learningvignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.
Basal ganglia diseaseBasal ganglia disease is a group of physical problems that occur when the group of nuclei in the brain known as the basal ganglia fail to properly suppress unwanted movements or to properly prime upper motor neuron circuits to initiate motor function. Research indicates that increased output of the basal ganglia inhibits thalamocortical projection neurons. Proper activation or deactivation of these neurons is an integral component for proper movement.
Striatumthumb|260px|Vue en 3D du striatum (en rouge). En neuroanatomie, le striatum ou néostriatum, appelé également le corps strié est une structure nerveuse subcorticale (sous le cortex) paire. Il est impliqué dans le mouvement involontaire, la motivation alimentaire ou sexuelle, la gestion de la douleur (via le système dopaminergique) et la cicatrisation voire la régénérescence de certains tissus cérébraux. Il est lié aux maladies de Parkinson, de Huntington et de Gilles de la Tourette, ainsi qu'au phénomène d'addiction.
Ganglions de la baseLes ganglions de la base (autrement appelés noyaux gris centraux ou noyaux de la base) sont un ensemble de structures sous-corticales constitué par des noyaux pairs, interconnectés au niveau télencéphalique (hémisphères cérébraux) et diencéphalique. Leur structure peut varier selon qu'on les définit de manière anatomique ou fonctionnelle.
Apprentissage par renforcement profondL'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.
Medium spiny neuronMedium spiny neurons (MSNs), also known as spiny projection neurons (SPNs), are a special type of GABAergic inhibitory cell representing 95% of neurons within the human striatum, a basal ganglia structure. Medium spiny neurons have two primary phenotypes (characteristic types): D1-type MSNs of the direct pathway and D2-type MSNs of the indirect pathway. Most striatal MSNs contain only D1-type or D2-type dopamine receptors, but a subpopulation of MSNs exhibit both phenotypes.
Mémoire (psychologie)thumb|350px|Les formes et fonctions de la mémoire en sciences. En psychologie, la mémoire est la faculté de l'esprit d'enregistrer, conserver et rappeler les expériences passées. Son investigation est réalisée par différentes disciplines : psychologie cognitive, neuropsychologie, et psychanalyse. thumb|Pyramide des cinq systèmes de mémoire. Le courant cognitiviste classique regroupe habituellement sous le terme de mémoire les processus dencodage, de stockage et de récupération des représentations mentales.
NeurotransmetteurLes neurotransmetteurs, ou neuromédiateurs, sont des composés chimiques libérés par les neurones (et parfois par les cellules gliales) agissant sur d'autres neurones, appelés neurones postsynaptiques, ou, plus rarement, sur d'autres types de cellules (comme les cellules musculaires et les cellules gliales comme les astrocytes). Les neurotransmetteurs sont stockés au niveau de l'élément présynaptique dans des vésicules. Le contenu de ces vésicules est libéré (de à molécules en moyenne) dans l'espace synaptique au moment de l'arrivée d'un potentiel d'action.
Mémoire de travailLe système cognitif fonctionne en acquérant, filtrant et traitant des informations vitales, utiles, potentiellement utiles à court, moyen et long termes ; il a donc besoin de stocker (mémoriser) ces informations. Le cerveau semble pour cela disposer de systèmes différents, mais complémentaires, de mémoire à long terme et de mémoire à court terme. La notion de mémoire de travail, apparue dans les années 1970 désigne .
Baddeley's model of working memoryBaddeley's model of working memory is a model of human memory proposed by Alan Baddeley and Graham Hitch in 1974, in an attempt to present a more accurate model of primary memory (often referred to as short-term memory). Working memory splits primary memory into multiple components, rather than considering it to be a single, unified construct. Baddeley & Hitch proposed their three-part working memory model as an alternative to the short-term store in Atkinson & Shiffrin's 'multi-store' memory model (1968).
ApprentissageL’apprentissage est un ensemble de mécanismes menant à l'acquisition de savoir-faire, de savoirs ou de connaissances. L'acteur de l'apprentissage est appelé apprenant. On peut opposer l'apprentissage à l'enseignement dont le but est de dispenser des connaissances et savoirs, l'acteur de l'enseignement étant l'enseignant.
OubliL’oubli (du latin oblītus, dérivé de ob- liveo, au sens de ) est un état caractérisé par l'apparente absence ou la disparition effective de souvenirs, une défaillance de la mémoire. L'oubli est présent chez Homère. Il est dépeint comme un danger et une opportunité. Lorsque, dans l'Odyssée, Ulysse arrive sur l’île des Lotophages (mangeurs de lotos, le « fruit de miel »), il découvre que cette nourriture provoque l'oubli chez ceux qui la mange, et que cela permet aux aborigènes de l'île de vivre en paix.
Action selectionAction selection is a way of characterizing the most basic problem of intelligent systems: what to do next. In artificial intelligence and computational cognitive science, "the action selection problem" is typically associated with intelligent agents and animats—artificial systems that exhibit complex behaviour in an agent environment. The term is also sometimes used in ethology or animal behavior. One problem for understanding action selection is determining the level of abstraction used for specifying an "act".
Courbe de l'oubliLa courbe de l'oubli ou courbe d'oubli est une hypothèse sur le déclin de rétention de la mémoire dans le temps. Elle fut découverte par le philosophe et psychologue allemand Hermann Ebbinghaus. vignette|droite|300px| Cette courbe montre comment l'information est perdue au fil du temps quand le cerveau ne cherche pas à la conserver. Cette courbe est liée au concept de la force de la mémoire qui se réfère à la durabilité que la mémoire trace dans le cerveau. Plus la mémoire est forte plus une personne pourra s'en souvenir longtemps.
Cortico-basal ganglia-thalamo-cortical loopThe cortico-basal ganglia-thalamo-cortical loop (CBGTC loop) is a system of neural circuits in the brain. The loop involves connections between the cortex, the basal ganglia, the thalamus, and back to the cortex. It is of particular relevance to hyperkinetic and hypokinetic movement disorders, such as Parkinson's disease and Huntington's disease, as well as to mental disorders of control, such as attention deficit hyperactivity disorder (ADHD), obsessive–compulsive disorder (OCD), and Tourette syndrome.
Potentiel d'actionvignette|Le déplacement d'un potentiel d'action le long d'un axone, modifie la polarité de la membrane cellulaire. Les canaux ioniques sodium Na+ et potassium K+ voltage-dépendants s'ouvrent puis se ferment quand la membrane atteint le potentiel seuil, en réponse à un signal en provenance d'un autre neurone. À l'initiation du potentiel d'action, le canal Na+ s'ouvre et le Na+ extracellulaire rentre dans l'axone, provoquant une dépolarisation. Ensuite la repolarisation se produit lorsque le canal K+ s'ouvre et le K+ intracellulaire sort de l'axone.
Mémoire à long termeEn psychologie cognitive, la mémoire à long terme (MLT) est la mémoire qui permet de retenir, de manière illimitée, une information sur des périodes de temps très longues (années). La notion de MLT est un concept utilisé dans les modèles de mémoire qui distinguent plusieurs sous-systèmes en fonction du type d'information mémorisé et de la durée de rétention. La mémoire à long terme s'oppose ainsi au registre sensoriel (ou mémoire sensorielle), à la mémoire à court terme et à la mémoire de travail.
Learning rateIn machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.
Interference theoryThe interference theory is a theory regarding human memory. Interference occurs in learning. The notion is that memories encoded in long-term memory (LTM) are forgotten and cannot be retrieved into short-term memory (STM) because either memory could interfere with the other. There is an immense number of encoded memories within the storage of LTM. The challenge for memory retrieval is recalling the specific memory and working in the temporary workspace provided in STM.
