Apprentissage par renforcementEn intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.
Apprentissage par renforcement profondL'apprentissage par renforcement profond (en anglais : deep reinforcement learning ou deep RL) est un sous-domaine de l'apprentissage automatique (en anglais : machine learning) qui combine l'apprentissage par renforcement et l'apprentissage profond (en anglais : deep learning). L'apprentissage par renforcement considère le problème d'un agent informatique (par exemple, un robot, un agent conversationnel, un personnage dans un jeu vidéo, etc.) qui apprend à prendre des décisions par essais et erreurs.
Q-learningvignette|400x400px|Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q. Le nouvel état s' devient alors l'état s, et l'apprentissage continue. En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est un algorithme d'apprentissage par renforcement. Il ne nécessite aucun modèle initial de l'environnement.
Conditionnement classiquevignette|thumbtime=192|L'expérience du petit Albert. Le conditionnement classique (aussi appelé conditionnement répondant, conditionnement de type I ou conditionnement pavlovien) est proposé par Ivan Pavlov en 1903. La publication de son livre « Conditioned Reflexes: an Investigation of the Psysiological Activity of the Cerebral Cortex » en 1927 a laissé un impact majeur sur le développement de la psychologie. Cette théorie s'intéresse aux résultats d'un apprentissage dû à l'association entre des stimuli de l'environnement et les réactions inconditionnelles de l'organisme.
Conditionnement opérantLe conditionnement opérant (appelé aussi conditionnement instrumental, apprentissage skinnerien ou conditionnement de type II) est un concept du béhaviorisme initié par Edward Thorndike et développé par Burrhus Frederic Skinner au milieu du . Cette théorie s'intéresse à l'apprentissage dont résulte une action et tient compte de conséquences de cette dernière rendant plus ou moins probable la reproduction dudit comportement.
Plasticité synaptiqueLa plasticité synaptique, en neurosciences, désigne la capacité des synapses à moduler, à la suite d'un événement particulier - une augmentation ou une diminution ponctuelle et significative de leur activité - l'efficacité de la transmission du signal électrique d'un neurone à l'autre et à conserver, à plus ou moins long terme, une "trace" de cette modulation. De manière schématique, l'efficacité de la transmission synaptique, voire la synapse elle-même, est maintenue et modulée par l'usage qui en est fait.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
Boîte de SkinnerLa boîte de Skinner () est un dispositif expérimental inventé par B. F. Skinner au début des années 1930 dans le but de simplifier l'étude des mécanismes de conditionnement.
DomptageLe domptage se réfère aux réponses spécifiques d'animaux sauvages entraînés à l'obéissance humaine. Il sert, en règle générale, à des actes notamment protecteurs ou de divertissement. Le dompteur d'animaux est la personne qui présente dans un cirque des fauves dressés à exécuter quelques tours. Ce terme doit être différencié du terme de dresseur ou éducateur d'animaux qui concerne des animaux domestiques. Les souffrances liées au domptage constituent l'un des arguments de l'opposition à l'utilisation d'animaux sauvages dans les cirques.
RenforcementEn psychologie, le renforcement est un procédé qui augmente la probabilité de répétition d'un comportement. Les théories sur l'apprentissage par renforcement sont étudiées par la psychologie béhavioriste et font l'objet de nombreuses applications visant à modifier les comportements animaux et humains. B.F. Skinner fut le premier à en étudier systématiquement les effets sur des rats et des pigeons. Le renforcement est une procédure par laquelle la fréquence d'apparition d'un comportement va augmenter en fonction de sa conséquence.
Plasticité fonction du temps d'occurrence des impulsionsLa (en Spike-timing-dependent plasticity, STDP) est un processus de modification du poids des synapses. Cette modification dépend du moment de déclenchement du potentiel d'action dans les neurones pré- et post-synaptique. Ce processus permettrait d'expliquer partiellement le développement cérébral et la mémorisation, en provoquant potentialisation à long terme (en Long-term potentiation, LTP) et dépression à long terme (en Long-term depression, LTD) des synapses.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Homeostatic plasticityIn neuroscience, homeostatic plasticity refers to the capacity of neurons to regulate their own excitability relative to network activity. The term homeostatic plasticity derives from two opposing concepts: 'homeostatic' (a product of the Greek words for 'same' and 'state' or 'condition') and plasticity (or 'change'), thus homeostatic plasticity means "staying the same through change". Homeostatic synaptic plasticity is a means of maintaining the synaptic basis for learning, respiration, and locomotion, in contrast to the Hebbian plasticity associated with learning and memory.
DopamineLa dopamine (DA) est un neurotransmetteur, une molécule biochimique qui permet la communication au sein du système nerveux, et l'une de celles qui influent directement sur le comportement. La dopamine renforce les actions habituellement bénéfiques telles que manger un aliment sain en provoquant la sensation de plaisir ce qui active ainsi le système de récompense/renforcement. Elle est donc indispensable à la survie de l'individu. Plus généralement, elle joue un rôle dans la motivation et la prise de risque chez les mammifères, donc chez l'être humain aussi.
Observational learningObservational learning is learning that occurs through observing the behavior of others. It is a form of social learning which takes various forms, based on various processes. In humans, this form of learning seems to not need reinforcement to occur, but instead, requires a social model such as a parent, sibling, friend, or teacher with surroundings. Particularly in childhood, a model is someone of authority or higher status in an environment.
Récepteur dopaminergiquevignette|Il s'agit d'une illustration d'un neurone dopaminergique avec TAAR1 co-localisé et les effets d'un agoniste TAAR1 (amphétamine ou une amine trace) sur la recapture et l'efflux de dopamine. Ce modèle est basé sur des informations provenant des trois sources suivantes : Offermanns, Stefan ; (eds.), Walter Rosenthal (2008). Encyclopédie de la pharmacologie moléculaire (2e éd.). Berlin : Springer. pp. 1219-1222. . Miller GM (janvier 2011).
Chemical synapseChemical synapses are biological junctions through which neurons' signals can be sent to each other and to non-neuronal cells such as those in muscles or glands. Chemical synapses allow neurons to form circuits within the central nervous system. They are crucial to the biological computations that underlie perception and thought. They allow the nervous system to connect to and control other systems of the body. At a chemical synapse, one neuron releases neurotransmitter molecules into a small space (the synaptic cleft) that is adjacent to another neuron.
Rétropropagation du gradientEn intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.
