Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Convergence de la chaîne de Markov

Dans cours

MGT-484: Applied probability & stochastic processes

This course focuses on dynamic models of random phenomena, and in particular, the most popular classes of such models: Markov chains and Markov decision processes. We will also study applications in queuing theory, finance, project management, etc. ...

Description

Cette séance de cours couvre la convergence des chaînes de Markov, en se concentrant sur la distribution invariante et la loi des grands nombres. L'instructeur explique le concept de distribution invariante, l'interprétation de la loi des grands nombres dans le contexte des chaînes de Markov et la preuve du LLN de Markov. La séance de cours se penche sur le calcul des récompenses moyennes et la durée des excursions dans les chaînes de Markov, soulignant l'importance de comprendre les propriétés de convergence de ces processus stochastiques.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Enseignant·e

Negar Kiyavash

Source officielle

Concepts associés (32)

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Convergence uniforme

La convergence uniforme d'une suite de fonctions est une forme de convergence plus exigeante que la convergence simple. La convergence devient uniforme quand toutes les suites avancent vers leur limite respective avec une sorte de « mouvement d'ensemble ». Dans le cas de fonctions numériques d'une variable, la notion prend une forme d'« évidence » géométrique : le graphe de la fonction f se « rapproche » de celui de la limite. Soient X un ensemble, (Y, d) un espace métrique, et A un sous-ensemble de X.

Loi des grands nombres

vignette|Visualisation de la loi des grands nombres En mathématiques, la loi des grands nombres permet d’interpréter la probabilité comme une fréquence de réalisation, justifiant ainsi le principe des sondages, et présente l’espérance comme une moyenne. Plus formellement, elle signifie que la moyenne empirique, calculée sur les valeurs d’un échantillon, converge vers l’espérance lorsque la taille de l’échantillon tend vers l’infini. Plusieurs théorèmes expriment cette loi, pour différents types de convergence en théorie des probabilités.

Convergence simple

En mathématiques, la convergence simple ou ponctuelle est une notion de convergence dans un espace fonctionnel, c’est-à-dire dans un ensemble de fonctions entre deux espaces topologiques. C'est une définition peu exigeante : elle est plus facile à établir que d'autres formes de convergence, notamment la convergence uniforme. Le passage à la limite possède donc moins de propriétés : une suite de fonctions continues peut ainsi converger simplement vers une fonction qui ne l'est pas.

Markov model

In probability theory, a Markov model is a stochastic model used to model pseudo-randomly changing systems. It is assumed that future states depend only on the current state, not on the events that occurred before it (that is, it assumes the Markov property). Generally, this assumption enables reasoning and computation with the model that would otherwise be intractable. For this reason, in the fields of predictive modelling and probabilistic forecasting, it is desirable for a given model to exhibit the Markov property.

Afficher plus

Séances de cours associées (57)

Attente conditionnelle : Grouper le lemme

Explore l'attente conditionnelle, le lemme de regroupement et la loi des grands nombres.

Théorème de la limite centrale

Couvre le théorème de la limite centrale et son application aux variables aléatoires, prouvant la convergence vers une distribution normale.

Convergence des probabilités

Explore la convergence des probabilités, discutant des conditions de convergence des séquences variables aléatoires et de l'unicité de la convergence.

Théorème de la limite centrale

Explore le théorème de la limite centrale, la convergence en droit, les fonctions caractéristiques et les problèmes de moment en théorie des probabilités.

Théorie des probabilités : Attentes conditionnelles

Couvre les attentes conditionnelles, la convergence des variables aléatoires et la loi forte des grands nombres.

Afficher plus

Concepts associés (32)

Chaîne de Markov

Convergence uniforme

Loi des grands nombres

Convergence simple

Markov model

Afficher plus