Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Réseau de neurones à impulsionsLes réseaux de neurones à impulsions (SNNs : Spiking Neural Networks, en anglais) sont un raffinement des réseaux de neurones artificiels (ANNs : Artificial Neural Networks, en anglais) où l’échange entre neurones repose sur l’intégration des impulsions et la redescente de l’activation, à l’instar des neurones naturels. L’encodage est donc temporel et binaire. Le caractère binaire pose une difficulté de continuité au sens mathématique (cela empêche notamment l’utilisation des techniques de rétropropagation des coefficients - telle que la descente de gradient - utilisées classiquement dans les méthodes d'apprentissage).
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Neurosciences computationnellesLes neurosciences computationnelles (NSC) sont un champ de recherche des neurosciences qui s'applique à découvrir les principes computationnels des fonctions cérébrales et de l'activité neuronale, c'est-à-dire des algorithmes génériques qui permettent de comprendre l'implémentation dans notre système nerveux central du traitement de l'information associé à nos fonctions cognitives. Ce but a été défini en premier lieu par David Marr dans une série d'articles fondateurs.
Maximum de vraisemblanceEn statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.
Fonction de vraisemblancevignette|Exemple d'une fonction de vraisemblance pour le paramètre d'une Loi de Poisson En théorie des probabilités et en statistique, la fonction de vraisemblance (ou plus simplement vraisemblance) est une fonction des paramètres d'un modèle statistique calculée à partir de données observées. Les fonctions de vraisemblance jouent un rôle clé dans l'inférence statistique fréquentiste, en particulier pour les méthodes statistiques d'estimation de paramètres.
Rythme cérébralUn rythme cérébral (appelé aussi activité neuro-électrique) désigne l'oscillation électromagnétique émise par le cerveau des êtres humains, mais également de tout être vivant. Le cortex frontal qui permet la cognition, la logique et le raisonnement est composé de neurones qui sont reliés entre eux par des synapses permettant la neurotransmission. Mesurables en volt et en hertz, ces ondes sont de très faible amplitude : de l'ordre du microvolt (chez l'être humain), elles ne suivent pas toujours une sinusoïde régulière.
Modèles du neurone biologiquevignette|390x390px|Fig. 1. Dendrites, soma et axone myélinisé, avec un flux de signal des entrées aux dendrites aux sorties aux bornes des axones. Le signal est une courte impulsion électrique appelée potentiel d'action ou impulsion. vignette|Figure 2. Évolution du potentiel postsynaptique lors d'une impulsion. L'amplitude et la forme exacte de la tension peut varier selon la technique expérimentale utilisée pour acquérir le signal.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
StatistiqueLa statistique est la discipline qui étudie des phénomènes à travers la collecte de données, leur traitement, leur analyse, l'interprétation des résultats et leur présentation afin de rendre ces données compréhensibles par tous. C'est à la fois une branche des mathématiques appliquées, une méthode et un ensemble de techniques. ce qui permet de différencier ses applications mathématiques avec une statistique (avec une minuscule). Le pluriel est également souvent utilisé pour la désigner : « les statistiques ».
Foundations of statisticsStatistics is the discipline that concerns the collection, organization, analysis, interpretation, and presentation of data, and is used to solve practical problems and draw conclusions. When analyzing data, the approaches used can lead to different conclusions on the same data. For example, weather forecasts often vary among different forecasting agencies that use different forecasting algorithms and techniques. Conclusions drawn from statistical analysis often involve uncertainty as they represent the probability of an event occurring.
Test du rapport de vraisemblanceEn statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .
Boltzmann machineA Boltzmann machine (also called Sherrington–Kirkpatrick model with external field or stochastic Ising–Lenz–Little model) is a stochastic spin-glass model with an external field, i.e., a Sherrington–Kirkpatrick model, that is a stochastic Ising model. It is a statistical physics technique applied in the context of cognitive science. It is also classified as a Markov random field. Boltzmann machines are theoretically intriguing because of the locality and Hebbian nature of their training algorithm (being trained by Hebb's rule), and because of their parallelism and the resemblance of their dynamics to simple physical processes.
Relative likelihoodIn statistics, when selecting a statistical model for given data, the relative likelihood compares the relative plausibilities of different candidate models or of different values of a parameter of a single model. Assume that we are given some data x for which we have a statistical model with parameter θ. Suppose that the maximum likelihood estimate for θ is . Relative plausibilities of other θ values may be found by comparing the likelihoods of those other values with the likelihood of .
Réseau de neurones (biologie)En neurosciences, un réseau de neurones correspond, schématiquement : Soit à un nombre restreint de différents neurones interconnectés, qui ont une fonction précise, comme le ganglion stomatogastrique qui contrôle l'activité des muscles de l'estomac des crustacés. Soit à un grand nombre de neurones similaires interconnectés, qui ont des fonctions plus cognitives, comme les réseaux corticaux qui permettent entre autres la catégorisation.
Cerveauvignette|Cerveau d'un chimpanzé. Le cerveau est le principal organe du système nerveux des animaux bilatériens. Ce terme tient du langage courant (non scientifique) et chez les chordés, comme les humains, il peut désigner l'encéphale, ou uniquement une partie de l'encéphale, le prosencéphale (télencéphale + diencéphale), voire seulement le télencéphale. Néanmoins, dans cet article, le terme « cerveau » prend son sens le plus large. Le cerveau des chordés est situé dans la tête, protégé par le crâne chez les craniés, et son volume varie grandement d'une espèce à l'autre.
Models of neural computationModels of neural computation are attempts to elucidate, in an abstract and mathematical fashion, the core principles that underlie information processing in biological nervous systems, or functional components thereof. This article aims to provide an overview of the most definitive models of neuro-biological computation as well as the tools commonly used to construct and analyze them.
Quasi-likelihoodIn statistics, quasi-likelihood methods are used to estimate parameters in a statistical model when exact likelihood methods, for example maximum likelihood estimation, are computationally infeasible. Due to the wrong likelihood being used, quasi-likelihood estimators lose asymptotic efficiency compared to, e.g., maximum likelihood estimators. Under broadly applicable conditions, quasi-likelihood estimators are consistent and asymptotically normal. The asymptotic covariance matrix can be obtained using the so-called sandwich estimator.
Summary statisticsIn descriptive statistics, summary statistics are used to summarize a set of observations, in order to communicate the largest amount of information as simply as possible. Statisticians commonly try to describe the observations in a measure of location, or central tendency, such as the arithmetic mean a measure of statistical dispersion like the standard mean absolute deviation a measure of the shape of the distribution like skewness or kurtosis if more than one variable is measured, a measure of statistical dependence such as a correlation coefficient A common collection of order statistics used as summary statistics are the five-number summary, sometimes extended to a seven-number summary, and the associated box plot.
Surapprentissagevignette|300x300px|La ligne verte représente un modèle surappris et la ligne noire représente un modèle régulier. La ligne verte classifie trop parfaitement les données d'entrainement, elle généralise mal et donnera de mauvaises prévisions futures avec de nouvelles données. Le modèle vert est donc finalement moins bon que le noir. En statistique, le surapprentissage, ou sur-ajustement, ou encore surinterprétation (en anglais « overfitting »), est une analyse statistique qui correspond trop précisément à une collection particulière d'un ensemble de données.
