Processus stochastiques: chaînes de Markov

Cette séance de cours présente les processus stochastiques, en se concentrant sur les chaînes de Markov. Un processus stochastique à temps discret est défini, avec des exemples tels que les prix des actions et les visites de sites Web. Le concept de chaînes de Markov est expliqué, où l'évolution future ne dépend que de l'état actuel. Les probabilités de transition et l'espace d'état sont discutés, en mettant l'accent sur les chaînes de Markov homogènes dans le temps. La séance de cours couvre la définition formelle des chaînes de Markov, des distributions d'état et des représentations graphiques. Divers exemples, y compris des modèles dinventaire et des systèmes de file dattente, illustrent lapplication des chaînes de Markov dans des scénarios du monde réel.