Méthode de Monte-Carlo par chaînes de MarkovLes méthodes de Monte-Carlo par chaînes de Markov, ou méthodes MCMC pour Markov chain Monte Carlo en anglais, sont une classe de méthodes d'échantillonnage à partir de distributions de probabilité. Ces méthodes de Monte-Carlo se basent sur le parcours de chaînes de Markov qui ont pour lois stationnaires les distributions à échantillonner. Certaines méthodes utilisent des marches aléatoires sur les chaînes de Markov (algorithme de Metropolis-Hastings, échantillonnage de Gibbs), alors que d'autres algorithmes, plus complexes, introduisent des contraintes sur les parcours pour essayer d'accélérer la convergence (Monte Carlo Hybride, Surrelaxation successive).
Chaîne de Markovvignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).
Méthode de Monte-CarloUne méthode de Monte-Carlo, ou méthode Monte-Carlo, est une méthode algorithmique visant à calculer une valeur numérique approchée en utilisant des procédés aléatoires, c'est-à-dire des techniques probabilistes. Les méthodes de Monte-Carlo sont particulièrement utilisées pour calculer des intégrales en dimensions plus grandes que 1 (en particulier, pour calculer des surfaces et des volumes). Elles sont également couramment utilisées en physique des particules, où des simulations probabilistes permettent d'estimer la forme d'un signal ou la sensibilité d'un détecteur.
Markov modelIn probability theory, a Markov model is a stochastic model used to model pseudo-randomly changing systems. It is assumed that future states depend only on the current state, not on the events that occurred before it (that is, it assumes the Markov property). Generally, this assumption enables reasoning and computation with the model that would otherwise be intractable. For this reason, in the fields of predictive modelling and probabilistic forecasting, it is desirable for a given model to exhibit the Markov property.
Fonction de répartitionEn théorie des probabilités, la fonction de répartition, ou fonction de distribution cumulative, d'une variable aléatoire réelle X est la fonction F_X qui, à tout réel x, associe la probabilité d’obtenir une valeur inférieure ou égale : Cette fonction est caractéristique de la loi de probabilité de la variable aléatoire.
Loi logistiqueEn probabilité et en statistiques, la loi logistique est une loi de probabilité absolument continue à support infini utilisé en régression logistique et pour les réseaux de neurones à propagation avant. Son nom de loi logistique est issu du fait que sa fonction de répartition est une fonction logistique. La loi logistique a deux paramètres μ et s > 0 et sa densité est Sa fonction de répartition est Son espérance et sa variance sont données par les formules suivantes : La loi logistique standard est la loi logistique de paramètres 0 et 1.
Fléau de la dimensionLe fléau de la dimension ou malédiction de la dimension (curse of dimensionality) est un terme inventé par Richard Bellman en 1961 pour désigner divers phénomènes qui ont lieu lorsque l'on cherche à analyser ou organiser des données dans des espaces de grande dimension alors qu'ils n'ont pas lieu dans des espaces de dimension moindre. Plusieurs domaines sont concernés et notamment l'apprentissage automatique, la fouille de données, les bases de données, l'analyse numérique ou encore l'échantillonnage.
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
Réduction de la dimensionnalitévignette|320x320px|Animation présentant la projection de points en deux dimensions sur les axes obtenus par analyse en composantes principales, une méthode populaire de réduction de la dimensionnalité La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension.
Loi de probabilitéthumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.
Loi de GumbelEn théorie des probabilités, la loi de Gumbel (ou distribution de Gumbel), du nom d'Émil Julius Gumbel, est une loi de probabilité continue. La loi de Gumbel est un cas particulier de la loi d'extremum généralisée au même titre que la loi de Weibull ou la loi de Fréchet. La loi de Gumbel est une approximation satisfaisante de la loi du maximum d'un échantillon de variables aléatoires indépendantes toutes de même loi, dès que cette loi appartient, précisément, au domaine d'attraction de la loi de Gumbel.
Fonction de répartition empiriqueEn statistiques, une fonction de répartition empirique est une fonction de répartition qui attribue la probabilité 1/n à chacun des n nombres dans un échantillon. Soit X,...,X un échantillon de variables iid définies sur un espace de probabilité , à valeurs dans , avec pour fonction de répartition F. La fonction de répartition empirique de l'échantillon est définie par : où est la fonction indicatrice de l'événement A. Pour chaque ω, l'application est une fonction en escalier, fonction de répartition de la loi de probabilité uniforme sur l'ensemble .
Loi log-logistiqueDans la théorie des probabilités et en statistiques, la loi log-logistique (connue aussi comme la distribution de Fisk en économie) est une loi de probabilité continue pour une variable aléatoire strictement positive. Elle est utilisée dans l'étude de la durée de vie d'événement dont l'intensité augmente d'abord pour ensuite décroître, comme pour la mortalité dû au cancer après diagnostic ou traitement. Elle est aussi utilisée en hydrologie pour modéliser le débit d'un cours d'eau ou le niveau des précipitations, et en économie pour modéliser l'inégalité des revenus.
Loi d'extremum généraliséeEn probabilité et statistique, la loi d'extrémum généralisée est une famille de lois de probabilité continues qui servent à représenter des phénomènes de valeurs extrêmes (minimum ou maximum). Elle comprend la loi de Gumbel, la loi de Fréchet et la loi de Weibull, respectivement lois d'extrémum de type I, II et III. Le théorème de Fisher-Tippett-Gnedenko établit que la loi d'extremum généralisée est la distribution limite du maximum (adéquatement normalisé) d'une série de variables aléatoires indépendantes de même distribution (iid).
Loi de WeibullEn théorie des probabilités, la loi de Weibull, nommée d'après Waloddi Weibull en 1951, est une loi de probabilité continue. La loi de Weibull est un cas spécial de loi d'extremum généralisée au même titre que la loi de Gumbel ou la loi de Fréchet. Avec deux paramètres (pour x > 0), la densité de probabilité est : où k > 0 est le paramètre de forme et λ > 0 le paramètre d'échelle de la distribution.
Nonlinear dimensionality reductionNonlinear dimensionality reduction, also known as manifold learning, refers to various related techniques that aim to project high-dimensional data onto lower-dimensional latent manifolds, with the goal of either visualizing the data in the low-dimensional space, or learning the mapping (either from the high-dimensional space to the low-dimensional embedding or vice versa) itself. The techniques described below can be understood as generalizations of linear decomposition methods used for dimensionality reduction, such as singular value decomposition and principal component analysis.
Matrice stochastiqueEn mathématiques, une matrice stochastique (aussi appelée matrice de Markov) est une matrice carrée (finie ou infinie) dont chaque élément est un réel positif et dont la somme des éléments de chaque ligne vaut 1. Cela correspond, en théorie des probabilités, à la matrice de transition d'une chaîne de Markov. Une matrice est dite stochastique si toutes ses entrées sont positives (ou nulles) et si, pour tout , on a c'est-à-dire que la somme des coordonnées de chaque ligne vaut 1.
Propriété de Markovvignette|Exemple de processus stochastique vérifiant la propriété de Markov: un mouvement Brownien (ici représenté en 3D) d'une particule dont la position à un instant t+1 ne dépend que de la position précédente à l'instant t. En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »).
Modèle de Markov cachéUn modèle de Markov caché (MMC, terme et définition normalisés par l’ISO/CÉI [ISO/IEC 2382-29:1999]) — (HMM)—, ou plus correctement (mais non employé) automate de Markov à états cachés, est un modèle statistique dans lequel le système modélisé est supposé être un processus markovien de paramètres inconnus. Contrairement à une chaîne de Markov classique, où les transitions prises sont inconnues de l'utilisateur mais où les états d'une exécution sont connus, dans un modèle de Markov caché, les états d'une exécution sont inconnus de l'utilisateur (seuls certains paramètres, comme la température, etc.
Matrice diagonalisableEn mathématiques, une matrice diagonalisable est une matrice carrée semblable à une matrice diagonale. Cette propriété est équivalente à l'existence d'une base de vecteurs propres, ce qui permet de définir de manière analogue un endomorphisme diagonalisable d'un espace vectoriel. Le fait qu'une matrice soit diagonalisable dépend du corps dans lequel sont cherchées les valeurs propres, ce que confirme la caractérisation par le fait que le polynôme minimal soit scindé à racines simples.
