Séance de cours

Markov Chains: Classement des Etats

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre la classification des états dans les chaînes de Markov, introduisant le concept de communication des classes et des états absorbants. Il explique les temps de frappe, les probabilités de frappe et le calcul des temps de frappe attendus. La séance de cours se penche également sur les chaînes de naissance et de mort, illustrant la première analyse de transition et les probabilités d'absorption. L'instructeur démontre l'application de ces concepts à travers des exemples comme la ruine du joueur, en soulignant l'importance de comprendre la probabilité d'atteindre certains états. La séance de cours se termine par des discussions sur les équations de différence homogènes et la durée prévue des jeux dans divers scénarios.

Source officielle

Concepts associés (32)

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Markov model

In probability theory, a Markov model is a stochastic model used to model pseudo-randomly changing systems. It is assumed that future states depend only on the current state, not on the events that occurred before it (that is, it assumes the Markov property). Generally, this assumption enables reasoning and computation with the model that would otherwise be intractable. For this reason, in the fields of predictive modelling and probabilistic forecasting, it is desirable for a given model to exhibit the Markov property.

Propriété de Markov

vignette|Exemple de processus stochastique vérifiant la propriété de Markov: un mouvement Brownien (ici représenté en 3D) d'une particule dont la position à un instant t+1 ne dépend que de la position précédente à l'instant t. En probabilité, un processus stochastique vérifie la propriété de Markov si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donnés les états passés et l'état présent, ne dépend en fait que de l'état présent et non pas des états passés (absence de « mémoire »).

Modèle de Markov caché

Un modèle de Markov caché (MMC, terme et définition normalisés par l’ISO/CÉI [ISO/IEC 2382-29:1999]) — (HMM)—, ou plus correctement (mais non employé) automate de Markov à états cachés, est un modèle statistique dans lequel le système modélisé est supposé être un processus markovien de paramètres inconnus. Contrairement à une chaîne de Markov classique, où les transitions prises sont inconnues de l'utilisateur mais où les états d'une exécution sont connus, dans un modèle de Markov caché, les états d'une exécution sont inconnus de l'utilisateur (seuls certains paramètres, comme la température, etc.

Équation différentielle

En mathématiques, une équation différentielle est une équation dont la ou les « inconnue(s) » sont des fonctions ; elle se présente sous la forme d'une relation entre ces fonctions inconnues et leurs dérivées successives. C'est un cas particulier d'équation fonctionnelle. On distingue généralement deux types d'équations différentielles : les équations différentielles ordinaires (EDO) où la ou les fonctions inconnues recherchées ne dépendent que d'une seule variable ; les équations différentielles partielles, plutôt appelées équations aux dérivées partielles (EDP), où la ou les fonctions inconnues recherchées peuvent dépendre de plusieurs variables indépendantes.

Afficher plus

Séances de cours associées (64)

Distribution stationnaire dans les chaînes de Markov

Explore le concept de distribution stationnaire dans les chaînes de Markov, en discutant de ses propriétés et de ses implications, ainsi que des conditions d'une récurrence positive.

Chaînes Markov: Ergodicité et distribution stationnaire

Explore l'ergonomie et la distribution stationnaire dans les chaînes Markov, en mettant l'accent sur les propriétés de convergence et les distributions uniques.

Hidden Markov Modèles: Primer

Introduit des modèles de Markov cachés, expliquant les problèmes de base et les algorithmes comme Forward-Backward, Viterbi et Baum-Welch, en mettant laccent sur lattente-Maximisation.

Source : Modèle de Markov

Explore un modèle de Markov de premier ordre à laide dun exemple de source ensoleillée-pluie, démontrant comment les événements passés influencent les résultats futurs.

Chaînes de naissance et de mort: analyse et probabilités

Explore les chaînes de naissance et de mort, les probabilités de réussite et les durées de jeu attendues dans les chaînes de Markov.

Afficher plus

Concepts associés (32)

Chaîne de Markov

Markov model

Propriété de Markov

Modèle de Markov caché

Équation différentielle

Afficher plus