Explore les classes communicantes dans les chaînes de Markov, en distinguant les classes transitoires et récurrentes, et approfondit les propriétés de ces classes.
Explore la convergence de la chaîne de Markov, en mettant l'accent sur la distribution invariante, la loi des grands nombres et le calcul des récompenses moyennes.
Couvre la probabilité appliquée, les chaînes de Markov et les processus stochastiques, y compris les matrices de transition, les valeurs propres et les classes de communication.
Explore les sujets d'apprentissage avancés du renforcement, y compris les politiques, les fonctions de valeur, la récursion de Bellman et le contrôle de la TD sur les politiques.
Explore la réversibilité dans les chaînes de Markov et son impact sur la distribution stationnaire, en soulignant la complexité des chaînes non réversibles.