Séance de cours

Méthodes de descente et recherche de ligne : Recherche de ligne inexacte

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre le concept de méthodes de descente et de recherche de ligne, en se concentrant sur l'idée de mettre à jour un point basé sur une direction de pas pour minimiser une fonction. Des exemples dans une dimension sont fournis pour illustrer le processus, ainsi que l'intuition que la direction de descente suppose de petits pas. La séance de cours discute également de l'importance de maintenir les petits pas pour que le théorème de Taylor s'applique et comment même les directions d'ascension peuvent diminuer la fonction avec de longs pas.

Dans MOOC

Optimisation : principes et algorithmes - Optimisation non linéaire sans contrainte

Ce que vous apprendrez Formulation : vous apprendrez à partir d'exemples simples comment formuler, transformer et caractériser un problème d'optimisation. Fonction objective : vous passerez en revue les propriétés mathématiques de la fonction objective qui sont importantes dans l'optimisation. Conditions d'optimalité : vous apprendrez les conditions suffisantes et nécessaires pour une solution optimale. Résolution d'équations, Newton : il s'agit d'un rappel sur la méthode de Newton pour résoudre des équatio

Source officielle

Concepts associés (15)

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Dimension

Le terme dimension, du latin dimensio « action de mesurer », désigne d’abord chacune des grandeurs d’un objet : longueur, largeur et profondeur, épaisseur ou hauteur, ou encore son diamètre si c'est une pièce de révolution. L’acception a dérivé de deux façons différentes en physique et en mathématiques. En physique, la dimension qualifie une grandeur indépendamment de son unité de mesure, tandis qu’en mathématiques, la notion de dimension correspond au nombre de grandeurs nécessaires pour identifier un objet, avec des définitions spécifiques selon le type d’objet (algébrique, topologique ou combinatoire notamment).

One-dimensional space

In physics and mathematics, a sequence of n numbers can specify a location in n-dimensional space. When n = 1, the set of all such locations is called a one-dimensional space. An example of a one-dimensional space is the number line, where the position of each point on it can be described by a single number. In algebraic geometry there are several structures that are technically one-dimensional spaces but referred to in other terms. A field k is a one-dimensional vector space over itself.

Coordinate descent

Coordinate descent is an optimization algorithm that successively minimizes along coordinate directions to find the minimum of a function. At each iteration, the algorithm determines a coordinate or coordinate block via a coordinate selection rule, then exactly or inexactly minimizes over the corresponding coordinate hyperplane while fixing all other coordinates or coordinate blocks. A line search along the coordinate direction can be performed at the current iterate to determine the appropriate step size.

Afficher plus

Séances de cours associées (64)

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

Techniques d'optimisation : Convexity in Machine Learning

Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.

Optimisation sans contraintes : méthode de graduation

Couvre l'optimisation sans contraintes en utilisant la méthode de gradient pour trouver le minimum de la fonction.

Méthodes d'optimisation

Couvre les méthodes d'optimisation, en se concentrant sur les méthodes de gradient et les techniques de recherche de ligne.

Les bases de l'optimisation

Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.

Afficher plus

Concepts associés (15)

Algorithme du gradient

Algorithme du gradient stochastique

Dimension

One-dimensional space

Coordinate descent

Afficher plus