Séance de cours

Programmation dynamique : contrôle optimal

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'application de la programmation dynamique (DP) dans la résolution de problèmes de contrôle optimaux. Il traite de l'optimalité de la DP, du problème de remplacement de la machine, des chaînes de Markov homogènes dans le temps, des objectifs de contrôle et des politiques. La séance de cours explore également le problème du contrôle quadratique linéaire, la stabilité des systèmes incontrôlés et les solutions récursives pour des politiques optimales.

Source officielle

Concepts associés (32)

Commande optimale

La théorie de la commande optimale permet de déterminer la commande d'un système qui minimise (ou maximise) un critère de performance, éventuellement sous des contraintes pouvant porter sur la commande ou sur l'état du système. Cette théorie est une généralisation du calcul des variations. Elle comporte deux volets : le principe du maximum (ou du minimum, suivant la manière dont on définit l'hamiltonien) dû à Lev Pontriaguine et à ses collaborateurs de l'institut de mathématiques Steklov , et l'équation de Hamilton-Jacobi-Bellman, généralisation de l'équation de Hamilton-Jacobi, et conséquence directe de la programmation dynamique initiée aux États-Unis par Richard Bellman.

Commande LQ

En automatique, la Commande linéaire quadratique, dite Commande LQ, est une méthode qui permet de calculer la matrice de gains d'une commande par retour d'état. L'initiateur de cette approche est Kalman, auteur de trois articles fondamentaux entre 1960 et 1964. Les résultats de Kalman ont été complétés par de nombreux auteurs. Nous ne traiterons ici que de la commande linéaire quadratique à horizon infini dans le cas d'un système linéaire stationnaire (ou « invariant »), renvoyant à l'article Commande optimale pour le cas d'un horizon fini et d'un système linéaire dont les matrices varient en fonction du temps.

Chaîne de Markov

vignette|Exemple élémentaire de chaîne de Markov, à deux états A et E. Les flèches indiquent les probabilités de transition d'un état à un autre. En mathématiques, une chaîne de Markov est un processus de Markov à temps discret, ou à temps continu et à espace d'états discret. Un processus de Markov est un processus stochastique possédant la propriété de Markov : l'information utile pour la prédiction du futur est entièrement contenue dans l'état présent du processus et n'est pas dépendante des états antérieurs (le système n'a pas de « mémoire »).

Programmation dynamique

En informatique, la programmation dynamique est une méthode algorithmique pour résoudre des problèmes d'optimisation. Le concept a été introduit au début des années 1950 par Richard Bellman. À l'époque, le terme « programmation » signifie planification et ordonnancement. La programmation dynamique consiste à résoudre un problème en le décomposant en sous-problèmes, puis à résoudre les sous-problèmes, des plus petits aux plus grands en stockant les résultats intermédiaires.

Bellman equation

A Bellman equation, named after Richard E. Bellman, is a necessary condition for optimality associated with the mathematical optimization method known as dynamic programming. It writes the "value" of a decision problem at a certain point in time in terms of the payoff from some initial choices and the "value" of the remaining decision problem that results from those initial choices. This breaks a dynamic optimization problem into a sequence of simpler subproblems, as Bellman's “principle of optimality" prescribes.

Afficher plus

Séances de cours associées (64)

Systèmes de contrôle en réseau

Explore les systèmes de contrôle en réseau, en s'attaquant aux abandons de paquets, aux retards de réseau, à la stabilité et aux lois de contrôle pour la liabilitÃ© du systÃ ̈me.

Contrôle quadratique linéaire (LQ) : preuve de théorème

Couvre la preuve de la formule récursive pour les gains optimaux dans le contrôle LQ sur un horizon fini.

Attribution optimale du portefeuille : Équation d'Euler et programmation dynamique

Couvre l'équation d'Euler, la programmation dynamique et la consommation optimale dans l'allocation de portefeuille.

Programmation dynamique : contrôle optimal

Explore la programmation dynamique pour un contrôle optimal, en se concentrant sur la stabilité, la politique stationnaire et les solutions récursives.

Quantification dans les systèmes de contrôle en réseau

Se penche sur l'impact de la quantification sur les systèmes de contrôle en réseau, en explorant la stabilité, les performances et les compromis de conception.

Afficher plus

Concepts associés (32)

Commande optimale

Commande LQ

Chaîne de Markov

Programmation dynamique

Bellman equation

Afficher plus