Présente les chaînes de Markov, couvrant les bases, les algorithmes de génération et les applications dans les promenades aléatoires et les processus de Poisson.
Explore la modélisation des signaux neurobiologiques avec les chaînes Markov, en mettant l'accent sur l'estimation des paramètres et la classification des données.
Couvre les processus de Markov, les densités de transition et la distribution sous réserve d'information, en discutant de la classification des états et des distributions fixes.
Explore les distributions invariantes, les états récurrents et la convergence dans les chaînes de Markov, y compris des applications pratiques telles que PageRank dans Google.
Couvre la probabilité appliquée, les chaînes de Markov et les processus stochastiques, y compris les matrices de transition, les valeurs propres et les classes de communication.
Explore les sujets d'apprentissage avancés du renforcement, y compris les politiques, les fonctions de valeur, la récursion de Bellman et le contrôle de la TD sur les politiques.