Explore la convergence de la chaîne de Markov, en mettant l'accent sur la distribution invariante, la loi des grands nombres et le calcul des récompenses moyennes.
Explore les classes communicantes dans les chaînes de Markov, en distinguant les classes transitoires et récurrentes, et approfondit les propriétés de ces classes.