Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Rapport signal sur bruitEn électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Carrier-to-noise ratioIn telecommunications, the carrier-to-noise ratio, often written CNR or C/N, is the signal-to-noise ratio (SNR) of a modulated signal. The term is used to distinguish the CNR of the radio frequency passband signal from the SNR of an analog base band message signal after demodulation. For example, with FM radio, the strength of the 100 MHz carrier with modulations would be considered for CNR, whereas the audio frequency analogue message signal would be for SNR; in each case, compared to the apparent noise.
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Quadri-momentEn relativité restreinte, le quadri-moment (ou quadrivecteur impulsion ou quadri-impulsion ou quadrivecteur impulsion-énergie ou quadrivecteur énergie-impulsion) est une généralisation du moment linéaire tridimensionnel de la physique classique sous la forme d'un quadrivecteur de l'espace de Minkowski, espace-temps à 4 dimensions de la relativité restreinte. Le quadri-moment d'une particule combine le moment tridimensionnel et d'énergie : Comme tout quadrivecteur, il est covariant, c'est-à-dire que les changements de ses coordonnées lors d'un changement de référentiel inertiel se calculent à l'aide des transformations de Lorentz.
Méthode du gradient conjuguévignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Bruit de mesureEn métrologie, le bruit de mesure est l'ensemble des signaux parasites qui se superposent au signal que l'on cherche à obtenir au moyen d'une mesure d'un phénomène physique. Ces signaux sont une gêne pour la compréhension de l'information que le signal transporte. La métrologie vise donc notamment à connaître leurs origines et à les caractériser, afin de les éliminer et d'obtenir le signal d'origine aussi distinctement que possible. La source du bruit d'origine externe est externe au système physique générant le signal utile et agit par influence sur celui-ci.
Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Learning rateIn machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function. Since it influences to what extent newly acquired information overrides old information, it metaphorically represents the speed at which a machine learning model "learns". In the adaptive control literature, the learning rate is commonly referred to as gain. In setting a learning rate, there is a trade-off between the rate of convergence and overshooting.
Noise (signal processing)In signal processing, noise is a general term for unwanted (and, in general, unknown) modifications that a signal may suffer during capture, storage, transmission, processing, or conversion. Sometimes the word is also used to mean signals that are random (unpredictable) and carry no useful information; even if they are not interfering with other signals or may have been introduced intentionally, as in comfort noise. Noise reduction, the recovery of the original signal from the noise-corrupted one, is a very common goal in the design of signal processing systems, especially filters.
Facteur de bruitLe facteur de bruit (noise figure ou noise factor en anglais) d'un dispositif électronique quelconque, actif ou passif, quantifie la dégradation relative du rapport signal sur bruit entre sa sortie et son entrée, et ce en prenant comme hypothèse que la température ambiante est de , donc que le bruit de fond en entrée est un bruit thermique correspondant à cette température de référence de . Autrement dit, le facteur de bruit est défini comme le quotient des rapports signal sur bruit en entrée et en sortie de ce même dispositif quand le bruit en entrée est un bruit thermique à la température normalisée To=.
Energy–momentum relationIn physics, the energy–momentum relation, or relativistic dispersion relation, is the relativistic equation relating total energy (which is also called relativistic energy) to invariant mass (which is also called rest mass) and momentum. It is the extension of mass–energy equivalence for bodies or systems with non-zero momentum. It can be written as the following equation: This equation holds for a body or system, such as one or more particles, with total energy E, invariant mass m0, and momentum of magnitude p; the constant c is the speed of light.
Quantification (signal)En traitement des signaux, la quantification est le procédé qui permet d'approcher un signal continu par les valeurs d'un ensemble discret d'assez petite taille. On parle aussi de quantification pour approcher un signal à valeurs dans un ensemble discret de grande taille par un ensemble plus restreint. L'application la plus courante de la quantification est la conversion analogique-numérique mais elle doit le développement de sa théorie aux problèmes de quantification pour la compression de signaux audio ou .
Quantité de mouvementEn physique, la quantité de mouvement est le produit de la masse par le vecteur vitesse d'un corps matériel supposé ponctuel. Il s'agit donc d'une grandeur vectorielle, définie par , qui dépend du référentiel d'étude. Par additivité, il est possible de définir la quantité de mouvement d'un corps non ponctuel (ou système matériel), dont il est possible de démontrer qu'elle est égale à la quantité de mouvement de son centre d'inertie affecté de la masse totale du système, soit (C étant le centre d'inertie du système).
Algorithme d'apprentissage incrémentalEn informatique, un algorithme d'apprentissage incrémental ou incrémentiel est un algorithme d'apprentissage qui a la particularité d'être online, c'est-à-dire qui apprend à partir de données reçues au fur et à mesure du temps. À chaque incrément il reçoit des données d'entrées et un résultat, l'algorithme calcule alors une amélioration du calcul fait pour prédire le résultat à partir des données d'entrées.
Moment cinétiqueEn mécanique classique, le moment cinétique (ou moment angulaire par anglicisme) d'un point matériel M par rapport à un point O est le moment de la quantité de mouvement par rapport au point O, c'est-à-dire le produit vectoriel : Le moment cinétique d'un système matériel est la somme des moments cinétiques (par rapport au même point O) des points matériels constituant le système : Cette grandeur, considérée dans un référentiel galiléen, dépend du choix de l'origine O, par suite, il n'est pas possible de com
