Séance de cours

Les chaînes de Markov : convergence et équilibre

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les propriétés de convergence des chaînes de Markov, en se concentrant sur la loi des grands nombres et la distribution déquilibre. Il explique les lois classiques et markoviennes des grands nombres, la fréquence des visites d'État et la preuve de la loi markovienne des grands nombres. La séance de cours traite également du comportement asymptotique des chaînes de Markov, de la forte propriété de Markov et du calcul des récompenses moyennes à long terme. En outre, il explore le théorème de Perron-Frobenius, la périodicité et le taux de convergence dans les chaînes de Markov.

Source officielle

Concepts associés (32)

Théorie de la démonstration

La théorie de la démonstration, aussi connue sous le nom de théorie de la preuve (de l'anglais proof theory), est une branche de la logique mathématique. Elle a été fondée par David Hilbert au début du . Hilbert a proposé cette nouvelle discipline mathématique lors de son célèbre exposé au congrès international des mathématiciens en 1900 avec pour objectif de démontrer la cohérence des mathématiques.

Vitesse de convergence des suites

En analyse numérique — une branche des mathématiques — on peut classer les suites convergentes en fonction de leur vitesse de convergence vers leur point limite. C'est une manière d'apprécier l'efficacité des algorithmes qui les génèrent. Les suites considérées ici sont convergentes sans être stationnaires (tous leurs termes sont même supposés différents du point limite). Si une suite est stationnaire, tous ses éléments sont égaux à partir d'un certain rang et il est alors normal de s'intéresser au nombre d'éléments différents du point limite.

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Loi des grands nombres

vignette|Visualisation de la loi des grands nombres En mathématiques, la loi des grands nombres permet d’interpréter la probabilité comme une fréquence de réalisation, justifiant ainsi le principe des sondages, et présente l’espérance comme une moyenne. Plus formellement, elle signifie que la moyenne empirique, calculée sur les valeurs d’un échantillon, converge vers l’espérance lorsque la taille de l’échantillon tend vers l’infini. Plusieurs théorèmes expriment cette loi, pour différents types de convergence en théorie des probabilités.

Assistant de preuve

En informatique (ou en mathématiques assistées par informatique), un assistant de preuve est un logiciel permettant la vérification de preuves mathématiques, soit sur des théorèmes au sens usuel des mathématiques, soit sur des assertions relatives à l'exécution de programmes informatiques. Beaucoup de projets ont été lancés pour formaliser les mathématiques, en 1966, Nicolaas de Bruijn lance le projet Automath, suivi par d'autres projets.

Afficher plus

Séances de cours associées (64)

Convergence de la chaîne de Markov

Explore la convergence de la chaîne de Markov, en mettant l'accent sur la distribution invariante, la loi des grands nombres et le calcul des récompenses moyennes.

La loi des grands nombres : preuves et applications

Explore la preuve et les applications de la loi des grands nombres, en mettant l'accent sur la convergence de la distribution empirique.

Attente conditionnelle : Grouper le lemme

Explore l'attente conditionnelle, le lemme de regroupement et la loi des grands nombres.

Simulations stochastiques : ergonomie et estimateurs

Explore l'ergodicité géométrique dans les chaînes de Markov et le biais et la variance des estimateurs, en mettant en évidence la quantification des pertes d'efficacité.

Simulation stochastique : théorie des chaînes de Markov

Couvre la théorie des chaînes de Markov, en se concentrant sur les chaînes réversibles et l'équilibre détaillé.

Afficher plus

Concepts associés (32)

Théorie de la démonstration

Vitesse de convergence des suites

Chaîne de Markov

Loi des grands nombres

Assistant de preuve

Afficher plus