Méthodes d'optimisation : Convexité et descente progressive

Cette séance de cours couvre l'optimisation des fonctions sous contraintes, en mettant l'accent sur la réduction des coûts. Les sujets comprennent les définitions subdifférenciales, les méthodes subgradielles, la convexité et l'optimisation itérative. Des exemples comme l'estimation de la probabilité maximale, l'estimation des moindres carrés et la régression des crêtes sont discutés. La séance de cours se penche également sur les méthodes de descente par gradient, la sélection par étapes, la minimisation convexe sans contrainte et le taux de convergence de descente par gradient. On explore les interprétations géométriques, la minimisation non convexe et la nécessité d'une optimisation non convexe, ainsi que l'interprétation géométrique de la stationnarité et des hypothèses dans la méthode du gradient.