Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Descente progressive : Optimisation et régularisation

Description

Cette séance de cours couvre l'algorithme de descente de gradient pour l'optimisation, y compris les techniques d'arrêt précoce et de régularisation. Il explique le processus de trouver le minimum d'une fonction en utilisant des mises à jour itératives et une régularisation implicite. Des exemples et des calculs mathématiques sont fournis pour illustrer les concepts.

Source officielle

Concepts associés (32)

Régularisation (mathématiques)

vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.

Ridge regression

Ridge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.

Optimisation combinatoire

L’optimisation combinatoire, (sous-ensemble à nombre de solutions finies de l'optimisation discrète), est une branche de l'optimisation en mathématiques appliquées et en informatique, également liée à la recherche opérationnelle, l'algorithmique et la théorie de la complexité. Dans sa forme la plus générale, un problème d'optimisation combinatoire (sous-ensemble à nombre de solutions finies de l'optimisation discrète) consiste à trouver dans un ensemble discret un parmi les meilleurs sous-ensembles (ou solutions) réalisables, la notion de meilleure solution étant définie par une fonction objectif.

Optimisation (mathématiques)

L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Afficher plus

Séances de cours associées (51)

Méthodes d'optimisation : discussion théorique

Explore les méthodes d'optimisation, y compris les problèmes sans contraintes, la programmation linéaire et les approches heuristiques.

Descente progressive

Couvre l'algorithme de descente en gradient, visant à minimiser une fonction en se déplaçant itérativement dans la direction de la diminution la plus raide.

Optimisation quasi-newton

Couvre les méthodes de recherche de ligne de gradient et les techniques d'optimisation en mettant l'accent sur les conditions Wolfe et la définition positive.

Choisir une taille d'étape MOOC: Introduction à l'optimisation sur des manifolds lisses : méthodes du premier ordre

Explore le choix d'une taille d'étape dans l'optimisation sur les collecteurs, y compris la recherche de ligne backtracking et la méthode Armijo.

Méthodes de descente et recherche de ligne: Finité de l'algorithme de recherche de ligne MOOC: Optimisation : principes et algorithmes - Optimisation non linéaire sans contrainte

Explore les conditions Wolfe pour les algorithmes de recherche de ligne et prouve la finitude du paramètre de recherche de ligne.

Afficher plus

Concepts associés (32)

Régularisation (mathématiques)

Ridge regression

Optimisation combinatoire

Optimisation (mathématiques)

Regularized least squares

Afficher plus