Redresseur (réseaux neuronaux)vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.
Spline interpolationIn the mathematical field of numerical analysis, spline interpolation is a form of interpolation where the interpolant is a special type of piecewise polynomial called a spline. That is, instead of fitting a single, high-degree polynomial to all of the values at once, spline interpolation fits low-degree polynomials to small subsets of the values, for example, fitting nine cubic polynomials between each of the pairs of ten points, instead of fitting a single degree-ten polynomial to all of them.
Regularized least squaresRegularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.
Spline cubique d'HermiteOn appelle spline cubique d'Hermite une spline de degré trois, nommée ainsi en hommage à Charles Hermite, permettant de construire un polynôme de degré minimal (le polynôme doit avoir au minimum quatre degrés de liberté et être donc de degré 3) interpolant une fonction en deux points avec ses tangentes. Chaque polynôme se trouve sous la forme suivante : thumb|Les quatre polynômes de base avec ce qui donne le polynôme suivant : Sous cette écriture, il est possible de voir que le polynôme p vérifie : La courbe est déterminée par la position des points et des tangentes.
Ridge regressionRidge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.
Théorème d'approximation universelleDans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn. Une des premières versions du cas avec largeur arbitraire a été prouvé par George Cybenko en 1989 pour des fonctions d'activation sigmoïdes.
Nœud (lien)vignette|upright=1.4|Nœuds dans "Nordisk familjebok", 1911: 1. Épissure 2. Nœud de tire-veille 3. Nœud en queue de cochon 4. Wall and crown knot 5. Nœud de ride 6. Nœud de hauban 7. Bonnet turc 8. Demi-nœud, Nœud en huit 9. Nœud plat 10. Nœud de grappin vignette|upright=1.4|Nœuds dans "Le Larousse pour tous", 1909. Un nœud est l'enlacement ou l'entrecroisement d'une ou de plusieurs cordes, ou tout autres objets flexibles et de forme filaire (comme un fil, une sangle, un câble, un ruban).
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
PyTorchPyTorch est une bibliothèque logicielle Python open source d'apprentissage machine qui s'appuie sur développée par Meta. PyTorch est gouverné par la PyTorch Foundation. PyTorch permet d'effectuer les calculs tensoriels nécessaires notamment pour l'apprentissage profond (deep learning). Ces calculs sont optimisés et effectués soit par le processeur (CPU) soit, lorsque c'est possible, par un processeur graphique (GPU) supportant CUDA.
Nœud (mathématiques)En mathématiques, et plus particulièrement en géométrie et en topologie algébrique, un nœud est un plongement d'un cercle dans R, l'espace euclidien de dimension 3, considéré à des déformations continues près. Une différence essentielle entre les nœuds usuels et les nœuds mathématiques est que ces derniers sont fermés (sans extrémités permettant de les nouer ou de les dénouer) ; les propriétés physiques des nœuds réels, telles que la friction ou l'épaisseur des cordes, sont généralement également négligées.
Théorie des nœudsthumb|right|Représentation d’un nœud torique de type (3, 8). La théorie des nœuds est une branche de la topologie qui consiste en l'étude mathématique de courbes présentant des liaisons avec elles-mêmes, un « bout de ficelle » idéalisé en lacets. Elle est donc très proche de la théorie des tresses qui comporte plusieurs chemins ou « bouts de ficelle ». left|thumb|Nœuds triviaux La théorie des nœuds a commencé vers 1860 et avec des travaux de Carl Friedrich Gauss liés à l'électromagnétisme.
Rétropropagation du gradientEn intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.
