Catastrophic interferenceCatastrophic interference, also known as catastrophic forgetting, is the tendency of an artificial neural network to abruptly and drastically forget previously learned information upon learning new information. Neural networks are an important part of the network approach and connectionist approach to cognitive science. With these networks, human capabilities such as memory and learning can be modeled using computer simulations. Catastrophic interference is an important issue to consider when creating connectionist models of memory.
Redresseur (réseaux neuronaux)vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.
Gradient boostingGradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.
Neuronethumb|537x537px|Schéma complet d’un neurone. Un neurone, ou une cellule nerveuse, est une cellule excitable constituant l'unité fonctionnelle de la base du système nerveux. Les neurones assurent la transmission d'un signal bioélectrique appelé influx nerveux. Ils ont deux propriétés physiologiques : l'excitabilité, c'est-à-dire la capacité de répondre aux stimulations et de convertir celles-ci en impulsions nerveuses, et la conductivité, c'est-à-dire la capacité de transmettre les impulsions.
Modèles du neurone biologiquevignette|390x390px|Fig. 1. Dendrites, soma et axone myélinisé, avec un flux de signal des entrées aux dendrites aux sorties aux bornes des axones. Le signal est une courte impulsion électrique appelée potentiel d'action ou impulsion. vignette|Figure 2. Évolution du potentiel postsynaptique lors d'une impulsion. L'amplitude et la forme exacte de la tension peut varier selon la technique expérimentale utilisée pour acquérir le signal.
Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
Réseau de neurones à impulsionsLes réseaux de neurones à impulsions (SNNs : Spiking Neural Networks, en anglais) sont un raffinement des réseaux de neurones artificiels (ANNs : Artificial Neural Networks, en anglais) où l’échange entre neurones repose sur l’intégration des impulsions et la redescente de l’activation, à l’instar des neurones naturels. L’encodage est donc temporel et binaire. Le caractère binaire pose une difficulté de continuité au sens mathématique (cela empêche notamment l’utilisation des techniques de rétropropagation des coefficients - telle que la descente de gradient - utilisées classiquement dans les méthodes d'apprentissage).
MotoneuroneLes motoneurones constituent la voie de sortie du système nerveux central ou la voie finale de tout acte moteur. Les corps cellulaires des motoneurones sont situés soit dans le tronc cérébral, soit dans la corne ventrale de la substance grise de la moelle épinière. Chaque motoneurone possède un axone qui part du système nerveux central pour innerver les fibres musculaires d'un muscle. L'ensemble constitué par un motoneurone et les fibres musculaires qu'il innerve constitue une unité motrice.
Récepteur (cellule)thumb|Cônes et bâtonnets de la rétine en microscopie électronique (fausses couleurs). Les neurones récepteurs (ou sensoriels) constituent le premier niveau cellulaire du système nerveux de la perception. Ils transduisent des signaux physiques (lumière, son, température, pression, tension mécanique...) en signaux chimiques (neurotransmetteurs) transmis à un neurone postsynaptique qui convertira le message en signal nerveux transmis sous forme de trains de potentiel d'action. photorécepteur (vision) bâtonnet
