Rétropropagation du gradientEn intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.
Réseau neuronal convolutifEn apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.
Réseau neuronal résidueldroite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Perceptron multicoucheEn intelligence artificielle, plus précisément en apprentissage automatique, le perceptron multicouche (multilayer perceptron MLP en anglais) est un type de réseau neuronal artificiel organisé en plusieurs couches. Un perceptron multicouche possède au moins trois couches : une couche d'entrée, au moins une couche cachée, et une couche de sortie. Chaque couche est constituée d'un nombre (potentiellement différent) de neurones. L'information circule de la couche d'entrée vers la couche de sortie uniquement : il s'agit donc d'un réseau à propagation directe (feedforward).
Réseau de neurones à propagation avantUn réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.
RpropRprop, short for resilient backpropagation, is a learning heuristic for supervised learning in feedforward artificial neural networks. This is a first-order optimization algorithm. This algorithm was created by Martin Riedmiller and Heinrich Braun in 1992. Similarly to the Manhattan update rule, Rprop takes into account only the sign of the partial derivative over all patterns (not the magnitude), and acts independently on each "weight".
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
DérivabilitéUne fonction réelle d'une variable réelle est dérivable en un point a quand elle admet une dérivée finie en a, c'est-à-dire, intuitivement, quand elle peut être approchée de manière assez fine par une fonction affine au voisinage de a. Elle est dérivable sur un intervalle réel ouvert non vide si elle est dérivable en chaque point de cet intervalle. Elle est dérivable sur un intervalle réel fermé et borné (c'est-à-dire sur un segment réel) non réduit à un point si elle est dérivable sur l'intérieur de cet intervalle et dérivable à droite en sa borne gauche, et dérivable à gauche en sa borne droite.
Dérivation automatiqueEn mathématique et en calcul formel, la dérivation automatique (DA), également appelé dérivation algorithmique, dérivation formelle, ou auto-dérivation est un ensemble de techniques d'évaluation de la dérivée d'une fonction par un programme informatique. La dérivation automatique exploite le fait que chaque programme informatique, aussi compliqué soit-il, exécute une séquence d'opérations arithmétiques élémentaires (addition, soustraction, multiplication, division, etc.) et des fonctions élémentaires (exp, log,sin, cos, etc.
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Théorème de dérivation des fonctions composéesEn mathématiques, dans le domaine de l'analyse, le théorème de dérivation des fonctions composées (parfois appelé règle de dérivation en chaîne ou règle de la chaîne, selon l'appellation anglaise) est une formule explicitant la dérivée d'une fonction composée pour deux fonctions dérivables. Elle permet de connaître la j-ème dérivée partielle de la i-ème application partielle de la composée de deux fonctions de plusieurs variables chacune.
Variété différentielleEn mathématiques, les variétés différentielles ou variétés différentiables sont les objets de base de la topologie différentielle et de la géométrie différentielle. Il s'agit de variétés, « espaces courbes » localement modelés sur l'espace euclidien de dimension n, sur lesquelles il est possible de généraliser une bonne part des opérations du calcul différentiel et intégral. Une variété différentielle se définit donc d'abord par la donnée d'une variété topologique, espace topologique localement homéomorphe à l'espace R.
Gradientvignette|Chaque champ scalaire est représenté par un dégradé (blanc = valeur basse, noir = valeur haute). Chaque gradient est un champ vectoriel, représenté par des flèches bleues ; chacune pointe dans la direction où le champ scalaire croît le plus vite. vignette|La fonction à deux variables f(x, y) = xe−(x2 + y2) correspond à la température (bleu = valeur basse = froid, rouge = valeur haute = chaud). Le gradient de f est un champ vectoriel, représenté par les flèches bleues ; chacune pointe dans la direction où la température croît le plus vite.
Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
Quotient ruleIn calculus, the quotient rule is a method of finding the derivative of a function that is the ratio of two differentiable functions. Let , where both f and g are differentiable and The quotient rule states that the derivative of h(x) is It is provable in many ways by using other derivative rules. Given , let , then using the quotient rule: The quotient rule can be used to find the derivative of as follows: Reciprocal rule The reciprocal rule is a special case of the quotient rule in which the numerator .
Règle du produitEn analyse mathématique, la règle du produit, aussi appelée règle de Leibniz, est une formule utilisée afin de trouver les dérivées de produits de fonctions. Sous sa forme la plus simple, elle s'énonce ainsi : En notation de Leibniz, cette formule s'écrit : Une application importante de la règle du produit est la méthode d'intégration par parties. Soit la fonction définie par : Pour trouver sa dérivée avec la règle du produit, on pose et . Les fonctions , et sont partout dérivables car polynomiales.
Intégration par changement de variableEn mathématiques, et plus précisément en analyse, l’intégration par changement de variable est un procédé d'intégration qui consiste à considérer une nouvelle variable d'intégration, pour remplacer une fonction de la variable d'intégration initiale. Ce procédé est un des outils principaux pour le calcul explicite d'intégrales. Il est parfois appelé intégration par substitution en lien avec le nom anglais du procédé. Soient : I un intervalle réel ; φ : [a,b] → I une fonction dérivable, de dérivée intégrable ; f : I → R une fonction continue.
