Séance de cours

Chaînes Markov: Récurrence et Transience

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les concepts de premiers temps de passage, de forte propriété de Markov et de récurrence / transition dans les chaînes de Markov. Il explique le temps de frappe des états, le comportement des chaînes conditionnelles à certains événements, et la classification des états comme récurrents ou transitoires en fonction des probabilités de retour.

Source officielle

Concepts associés (31)

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Propriété de Markov

vignette|Exemple de processus stochastique vérifiant la propriété de Markov: un mouvement Brownien (ici représenté en 3D) d'une particule dont la position à un instant t+1 ne dépend que de la position précédente à l'instant t. En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »).

Probabilité conditionnelle

vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.

Andreï Markov (mathématicien)

Andreï Andreïevitch Markov (en Андрей Андреевич Марков) (1856-1922) est un mathématicien russe. Il est considéré comme le fondateur de la théorie des processus stochastiques. La mère d'Andreï Markov, Nadejda Petrovna, est la fille d'un ouvrier d'État. Son père, Andreï Grigorievitch Markov, membre de la petite noblesse, sert dans le département des forêts, puis devient gestionnaire de domaine privé. Dans ses premières années, Markov est en mauvaise santé et jusqu'à l'âge de dix ans, il ne peut marcher qu'à l'aide de béquilles.

Conditional probability distribution

In probability theory and statistics, given two jointly distributed random variables and , the conditional probability distribution of given is the probability distribution of when is known to be a particular value; in some cases the conditional probabilities may be expressed as functions containing the unspecified value of as a parameter. When both and are categorical variables, a conditional probability table is typically used to represent the conditional probability.

Afficher plus

Séances de cours associées (64)

Probabilités et processus stochastiques

Couvre la probabilité appliquée, les processus stochastiques, les chaînes de Markov, l'échantillonnage de rejet et les méthodes d'inférence bayésienne.

Source : Modèle de Markov

Explore un modèle de Markov de premier ordre à laide dun exemple de source ensoleillée-pluie, démontrant comment les événements passés influencent les résultats futurs.

Hidden Markov Modèles: Primer

Introduit des modèles de Markov cachés, expliquant les problèmes de base et les algorithmes comme Forward-Backward, Viterbi et Baum-Welch, en mettant laccent sur lattente-Maximisation.

Chaînes de Markov: classes absorbantes

Explore les chaînes de Markov avec des classes absorbantes à travers des exercices sur les matrices de transition et les valeurs attendues.

Inégalités de probabilité

Explore les inégalités de probabilité, les types de convergence et les fonctions génératrices de moment pour l'approximation de la distribution.

Afficher plus

Concepts associés (31)

Chaîne de Markov

Propriété de Markov

Probabilité conditionnelle

Andreï Markov (mathématicien)

Conditional probability distribution

Afficher plus