Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Système dynamiqueEn mathématiques, en chimie ou en physique, un système dynamique est la donnée d’un système et d’une loi décrivant l'évolution de ce système. Ce peut être l'évolution d'une réaction chimique au cours du temps, le mouvement des planètes dans le système solaire (régi par la loi universelle de la gravitation de Newton) ou encore l'évolution de la mémoire d'un ordinateur sous l'action d'un programme informatique. Formellement on distingue les systèmes dynamiques à temps discrets (comme un programme informatique) des systèmes dynamiques à temps continu (comme une réaction chimique).
Apprentissage profondL'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.
Réseau de neurones à propagation avantUn réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.
Réseau neuronal convolutifEn apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
Réseau de neurones de HopfieldLe réseau de neurones d'Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque unité de temps). Il a été popularisé par le physicien John Hopfield en 1982. Sa découverte a permis de relancer l'intérêt dans les réseaux de neurones qui s'était essoufflé durant les années 1970 à la suite d'un article de Marvin Minsky et Seymour Papert.
Théorie des systèmes dynamiquesLa théorie des systèmes dynamiques désigne couramment la branche des mathématiques qui s'efforce d'étudier les propriétés d'un système dynamique. Cette recherche active se développe à la frontière de la topologie, de l'analyse, de la géométrie, de la théorie de la mesure et des probabilités. La nature de cette étude est conditionnée par le système dynamique étudié et elle dépend des outils utilisés (analytiques, géométriques ou probabilistes).
Fonction logistique (Verhulst)En mathématiques, les fonctions logistiques sont les fonctions ayant pour expression où et sont des réels positifs et un réel quelconque. Ce sont les solutions en temps continu du modèle de Verhulst. Pour , leur courbe représentative a la forme d'un S ce qui fait qu'elles sont parfois appelées sigmoïdes. Ces fonctions ont été mises en évidence (vers 1840) par Pierre-François Verhulst, qui cherchait un modèle d'évolution non exponentielle de population comportant un frein et une capacité d'accueil .
Attention (machine learning)Machine learning-based attention is a mechanism mimicking cognitive attention. It calculates "soft" weights for each word, more precisely for its embedding, in the context window. It can do it either in parallel (such as in transformers) or sequentially (such as recursive neural networks). "Soft" weights can change during each runtime, in contrast to "hard" weights, which are (pre-)trained and fine-tuned and remain frozen afterwards. Multiple attention heads are used in transformer-based large language models.
Nonlinear system identificationSystem identification is a method of identifying or measuring the mathematical model of a system from measurements of the system inputs and outputs. The applications of system identification include any system where the inputs and outputs can be measured and include industrial processes, control systems, economic data, biology and the life sciences, medicine, social systems and many more. A nonlinear system is defined as any system that is not linear, that is any system that does not satisfy the superposition principle.
Couleurvignette|Peinture de Claude Monet. La couleur est la perception visuelle de l'aspect d'une surface ou d'une lumière, basée, sans lui être rigoureusement liée, sur la répartition spectrale de la lumière, qui stimule des cellules nerveuses spécialisées situées sur la rétine nommées cônes. Le système nerveux transmet et traite l'influx jusqu'au cortex visuel.
Sigmoïde (mathématiques)En mathématiques, la fonction sigmoïde (dite aussi courbe en S) est définie par : pour tout réel mais on la généralise à toute fonction dont l'expression est : Elle représente la fonction de répartition de la loi logistique. La courbe sigmoïde génère par transformation affine une partie des courbes logistiques, ce qui en fait une représentante privilégiée. La fonction sigmoïde est souvent utilisée dans les réseaux de neurones parce qu'elle est dérivable, ce qui est nécessaire pour l'algorithme de rétropropagation de Werbos, et parce que son codomaine est l'intervalle , ce qui permet d'obtenir des valeurs analogues à des probabilités.
DaltonismeLe daltonisme est une anomalie de la vision affectant la perception des couleurs (ce trouble de la vision des couleurs étant appelé dyschromatopsie). D'origine généralement génétique, elle a alors pour cause une déficience d'un ou plusieurs des trois types de cônes de la rétine oculaire. Habituellement classé comme une infirmité légère, il existe des situations où les daltoniens peuvent avoir un avantage sur les individus ayant une vision normale. Cela peut être une explication évolutive de la fréquence étonnamment haute de daltonisme rouge-vert congénital.
Couleur primaireUne couleur primaire est, dans un système de synthèse de couleurs, une couleur qui ne peut pas être reproduite par un mélange d'autres couleurs. Des couleurs sont dites primaires entre elles si aucune ne peut être reproduite par un mélange des autres. Quand on réalise un procédé de synthèse de couleurs, on choisit au moins trois primaires, en considérant les moyens techniques de les obtenir. En photographie, en impression en couleurs, sur les écrans de télévision ou d'ordinateur, les couleurs primaires sont des conventions technologiques définies par des normes.
Biologie des systèmesLa biologie des systèmes (ou biologie intégrative) est un domaine récent de la biologie qui étudie les organismes vivants comme les systèmes qu'ils sont en réalité, par opposition aux approches historiques qui tendent à décomposer l'étude à tous les niveaux, en biologie, physiologie, biochimie... La biologie systémique cherche à intégrer différents niveaux d'informations pour comprendre comment fonctionne réellement un système biologique.
Système dynamique mesuréUn système dynamique mesuré est un objet mathématique, représentant un espace de phases muni d'une loi d'évolution, particulièrement étudié en théorie ergodique. Un système dynamique mesuré est la donnée d'un espace probabilisé et d'une application mesurable f : X → X. On exige que f préserve la mesure, ce qui veut dire que : Cette propriété très riche permet d'obtenir de puissants théorèmes. Par ailleurs, un théorème affirme qu'il existe, pour toute transformation continue X → X d'un espace topologique compact X, une mesure de probabilité, borélienne, préservant cette transformation.
Violetvignette|La dame en violet, de Pál Szinyei Merse (1874), Galerie nationale hongroise. Le violet est un champ chromatique qui désigne des couleurs situées sur le cercle chromatique entre les pourpres et les bleus. Comme nom de couleur, violet fait partie, avec orange ou gris, de ceux qui n'apparaissent dans les langues qu'après les divisions principales des champs chromatiques. Il est attesté en français en 1520 dans une description du pouvoir et de l'orgueil de l'empereur Héliogabale.
