Explore la réversibilité dans les chaînes de Markov et son impact sur la distribution stationnaire, en soulignant la complexité des chaînes non réversibles.
Explore la stationnarité dans les processus stochastiques, en montrant comment les caractéristiques statistiques restent constantes au fil du temps et les implications sur les variables aléatoires et les transformées de Fourier.
Couvre la probabilité appliquée, les chaînes de Markov et les processus stochastiques, y compris les matrices de transition, les valeurs propres et les classes de communication.
Explore les sujets d'apprentissage avancés du renforcement, y compris les politiques, les fonctions de valeur, la récursion de Bellman et le contrôle de la TD sur les politiques.