Séance de cours

Processus stochastiques contrôlés

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre le concept de processus stochastiques contrôlés, où une séquence de variables aléatoires indépendantes et distribuées de manière identique est définie pour créer un processus stochastique. L'objectif est de minimiser le coût attendu de l'application du contrôle dans différents états sur un horizon de planification. La séance de cours explore l'utilisation de la programmation dynamique pour trouver des politiques de contrôle et des fonctions de valeur optimales. Il se penche également sur le problème de remplacement de la machine, où les décisions sur la réparation ou l'attente d'une machine sont prises en fonction des coûts et des pénalités associés à différents états.

Source officielle

Concepts associés (32)

Processus stochastique

Un processus ou processus aléatoire (voir Calcul stochastique) ou fonction aléatoire (voir Probabilité) représente une évolution, discrète ou à temps continu, d'une variable aléatoire. Celle-ci intervient dans le calcul classique des probabilités, où elle mesure chaque résultat possible (ou réalisation) d'une épreuve. Cette notion se généralise à plusieurs dimensions. Un cas particulier important, le champ aléatoire de Markov, est utilisé en analyse spatiale.

Calcul stochastique

Le calcul est l’étude des phénomènes aléatoires dépendant du temps. À ce titre, c'est une extension de la théorie des probabilités. Ne pas confondre avec la technique des calculateurs stochastiques. Le domaine d’application du calcul stochastique comprend la mécanique quantique, le traitement du signal, la chimie, les mathématiques financières, la météorologie et même la musique. Un processus aléatoire est une famille de variables aléatoires indexée par un sous-ensemble de ou , souvent assimilé au temps (voir aussi Processus stochastique).

Équation différentielle stochastique

Une équation différentielle stochastique (EDS) est une généralisation de la notion d'équation différentielle prenant en compte un terme de bruit blanc. Les EDS permettent de modéliser des trajectoires aléatoires, tels des cours de bourse ou les mouvements de particules soumises à des phénomènes de diffusion. Elles permettent aussi de traiter théoriquement ou numériquement des problèmes issus de la théorie des équations aux dérivées partielles.

Programmation dynamique

En informatique, la programmation dynamique est une méthode algorithmique pour résoudre des problèmes d'optimisation. Le concept a été introduit au début des années 1950 par Richard Bellman. À l'époque, le terme « programmation » signifie planification et ordonnancement. La programmation dynamique consiste à résoudre un problème en le décomposant en sous-problèmes, puis à résoudre les sous-problèmes, des plus petits aux plus grands en stockant les résultats intermédiaires.

Commande optimale

La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov , et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman.

Afficher plus

Séances de cours associées (58)

Processus stochastiques contrôlés

Explore les processus stochastiques contrôlés, en se concentrant sur l'analyse, le comportement et l'optimisation, en utilisant la programmation dynamique pour résoudre les problèmes du monde réel.

Le problème du mariage

Explore le problème du mariage, modélisant le processus comme un processus stochastique contrôlé avec des algorithmes de programmation dynamiques pour trouver la politique optimale pour accepter les célibataires.

Vente d'actifs: Politique de revenus optimale

Explore la dynamique de vente d'actifs, la politique de revenus optimale, les seuils d'acceptation et l'impact sur les prix des produits de base.

Introduction à l'apprentissage par renforcement: concepts et applications clés

Introduit l'apprentissage par renforcement, couvrant ses définitions, ses applications et ses fondements théoriques, tout en décrivant la structure et les objectifs du cours.

Processus de décision de Markov: fondements de l'apprentissage par renforcement

Couvre les processus décisionnels de Markov, leur structure et leur rôle dans l'apprentissage par renforcement.

Afficher plus

Concepts associés (32)

Processus stochastique

Calcul stochastique

Équation différentielle stochastique

Programmation dynamique

Commande optimale

Afficher plus