Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Apprentissage profondL'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Système dynamiqueEn mathématiques, en chimie ou en physique, un système dynamique est la donnée d’un système et d’une loi décrivant l'évolution de ce système. Ce peut être l'évolution d'une réaction chimique au cours du temps, le mouvement des planètes dans le système solaire (régi par la loi universelle de la gravitation de Newton) ou encore l'évolution de la mémoire d'un ordinateur sous l'action d'un programme informatique. Formellement on distingue les systèmes dynamiques à temps discrets (comme un programme informatique) des systèmes dynamiques à temps continu (comme une réaction chimique).
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
Théorie des systèmes dynamiquesLa théorie des systèmes dynamiques désigne couramment la branche des mathématiques qui s'efforce d'étudier les propriétés d'un système dynamique. Cette recherche active se développe à la frontière de la topologie, de l'analyse, de la géométrie, de la théorie de la mesure et des probabilités. La nature de cette étude est conditionnée par le système dynamique étudié et elle dépend des outils utilisés (analytiques, géométriques ou probabilistes).
Application contractanteEn mathématiques et plus particulièrement en analyse, une application contractante, ou contraction, est une application qui « rapproche les » ou, plus précisément, une application k-lipschitzienne avec k < 1. Le théorème de point fixe le plus simple et le plus utilisé concerne les applications contractantes. Une application f d'un espace métrique (E, d) dans lui-même est dite k-contractante si 0 ≤ k < 1 et si, pour tout couple de points x et y de E, d(f(x), f(y)) ≤ kd(x, y).
Théorème d'approximation universelleDans la théorie mathématique des réseaux de neurones artificiels, le théorème d'approximation universelle indique qu'un réseau à propagation avant d'une seule couche cachée contenant un nombre fini de neurones (c'est-à-dire, un perceptron multicouche) peut approximer des fonctions continues sur des sous-ensembles compacts de Rn. Une des premières versions du cas avec largeur arbitraire a été prouvé par George Cybenko en 1989 pour des fonctions d'activation sigmoïdes.
Régularisation (mathématiques)vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.
Physical neural networkA physical neural network is a type of artificial neural network in which an electrically adjustable material is used to emulate the function of a neural synapse or a higher-order (dendritic) neuron model. "Physical" neural network is used to emphasize the reliance on physical hardware used to emulate neurons as opposed to software-based approaches. More generally the term is applicable to other artificial neural networks in which a memristor or other electrically adjustable resistance material is used to emulate a neural synapse.
Condition initialeEn physique ou en mathématique, on définit comme conditions initiales les éléments nécessaires à la détermination de la solution complète et si possible unique d'un problème, éléments qui décrivent l'état du système à l'instant initial, c'est-à-dire l'état de départ. Plus formellement, on appelle « condition initiale » l'espace d'état d'un système étudié à l'instant initial. C'est ce qui permet de déterminer les coefficients des solutions des équations différentielles, par exemple les équations de mouvement des corps.
Système dynamique mesuréUn système dynamique mesuré est un objet mathématique, représentant un espace de phases muni d'une loi d'évolution, particulièrement étudié en théorie ergodique. Un système dynamique mesuré est la donnée d'un espace probabilisé et d'une application mesurable f : X → X. On exige que f préserve la mesure, ce qui veut dire que : Cette propriété très riche permet d'obtenir de puissants théorèmes. Par ailleurs, un théorème affirme qu'il existe, pour toute transformation continue X → X d'un espace topologique compact X, une mesure de probabilité, borélienne, préservant cette transformation.
Redresseur (réseaux neuronaux)vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.
Croissance exponentiellethumb|Comparaison entre une croissance linéaire (en rouge), cubique (en bleu) et exponentielle (en vert) |300x300px La croissance exponentielle d'une quantité est son augmentation au fil du temps selon une loi exponentielle. On l'observe quand la dérivée par rapport au temps de cette quantité (c'est-à-dire son taux de variation instantané) est positive et proportionnelle à la quantité elle-même. Dans la langue courante on emploie souvent, mais improprement, le terme « croissance exponentielle » pour qualifier une augmentation simplement accélérée, quand la dérivée est elle-même croissante.
Adversarial machine learningAdversarial machine learning is the study of the attacks on machine learning algorithms, and of the defenses against such attacks. A survey from May 2020 exposes the fact that practitioners report a dire need for better protecting machine learning systems in industrial applications. To understand, note that most machine learning techniques are mostly designed to work on specific problem sets, under the assumption that the training and test data are generated from the same statistical distribution (IID).
Bruit de mesureEn métrologie, le bruit de mesure est l'ensemble des signaux parasites qui se superposent au signal que l'on cherche à obtenir au moyen d'une mesure d'un phénomène physique. Ces signaux sont une gêne pour la compréhension de l'information que le signal transporte. La métrologie vise donc notamment à connaître leurs origines et à les caractériser, afin de les éliminer et d'obtenir le signal d'origine aussi distinctement que possible. La source du bruit d'origine externe est externe au système physique générant le signal utile et agit par influence sur celui-ci.
Équation aux dérivées partiellesEn mathématiques, plus précisément en calcul différentiel, une équation aux dérivées partielles (parfois appelée équation différentielle partielle et abrégée en EDP) est une équation différentielle dont les solutions sont les fonctions inconnues dépendant de plusieurs variables vérifiant certaines conditions concernant leurs dérivées partielles. Une EDP a souvent de très nombreuses solutions, les conditions étant moins strictes que dans le cas d'une équation différentielle ordinaire à une seule variable ; les problèmes comportent souvent des conditions aux limites qui restreignent l'ensemble des solutions.
Rapport signal sur bruitEn électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.
Facteur de bruitLe facteur de bruit (noise figure ou noise factor en anglais) d'un dispositif électronique quelconque, actif ou passif, quantifie la dégradation relative du rapport signal sur bruit entre sa sortie et son entrée, et ce en prenant comme hypothèse que la température ambiante est de , donc que le bruit de fond en entrée est un bruit thermique correspondant à cette température de référence de . Autrement dit, le facteur de bruit est défini comme le quotient des rapports signal sur bruit en entrée et en sortie de ce même dispositif quand le bruit en entrée est un bruit thermique à la température normalisée To=.
