Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Méthodes de descente et méthode de Newton avec recherche par ligne

Description

Cette séance de cours couvre la comparaison entre les méthodes de descente et la méthode de Newton, y compris les modifications pour les cas définis positifs, lapplication de lalgorithme de recherche de ligne, et lanalyse des itérations montrant la convergence vers le point minimum.

Dans MOOC

Optimisation : principes et algorithmes - Optimisation non linéaire sans contrainte

Source officielle

Concepts associés (13)

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Méthode de Newton

vignette|Une itération de la méthode de Newton. En analyse numérique, la méthode de Newton ou méthode de Newton-Raphson est, dans son application la plus simple, un algorithme efficace pour trouver numériquement une approximation précise d'un zéro (ou racine) d'une fonction réelle d'une variable réelle. Cette méthode doit son nom aux mathématiciens anglais Isaac Newton (1643-1727) et Joseph Raphson (peut-être 1648-1715), qui furent les premiers à la décrire pour la recherche des solutions d'une équation polynomiale.

Méthode de Newton

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Méthode du gradient conjugué

vignette|Illustration de la méthode du gradient conjugué. En analyse numérique, la méthode du gradient conjugué est un algorithme pour résoudre des systèmes d'équations linéaires dont la matrice est symétrique définie positive. Cette méthode, imaginée en 1950 simultanément par Cornelius Lanczos, Eduard Stiefel et Magnus Hestenes, est une méthode itérative qui converge en un nombre fini d'itérations (au plus égal à la dimension du système linéaire).

Afficher plus

Séances de cours associées (28)

Descente progressive

Couvre le concept de descente de gradient dans les cas scalaires, en se concentrant sur la recherche du minimum d'une fonction en se déplaçant itérativement dans la direction du gradient négatif.

Descente Coordonnée: Techniques d'Optimisation Efficace

Couvre la descente des coordonnées, une méthode pour optimiser les fonctions en mettant à jour une coordonnée à la fois.

Méthode Newton : Convergence et soins quadratiques

Couvre la méthode de Newton et ses propriétés de convergence près du point optimal.

Systèmes linéaires: convergence et méthodes

Explore les systèmes linéaires, la convergence et les méthodes de résolution en mettant l'accent sur les besoins en temps et en mémoire du processeur.

Optimisation des taux de convergence: descente progressive accélérée

Explore l'optimalité des taux de convergence dans l'optimisation convexe, en mettant l'accent sur la descente accélérée des gradients et les méthodes d'adaptation.

Afficher plus

Concepts associés (13)

Algorithme du gradient

Méthode de Newton

Algorithme du gradient stochastique

Méthode du gradient conjugué

Afficher plus