Séance de cours

Classification linéaire: Variantes et descente stochastique progressive

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-467: Machine learning for physicists

Machine learning and data analysis are becoming increasingly central in sciences including physics. In this course, fundamental principles and methods of machine learning will be introduced and practised. ...

Description

Cette séance de cours couvre les variantes de descente par gradient utilisées dans la pratique, en mettant l'accent sur la descente par gradient stochastique (SGD) et ses propriétés. Il explique comment SGD fonctionne en choisissant un minimum d'échantillons à chaque itération, en approximant le dérivé complet. La séance de cours se penche également sur la classification linéaire, en discutant du concept d'un séparateur linéaire et de l'importance d'avoir des propriétés différentielles presque partout.

Source officielle

Concepts associés (32)

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Équation différentielle

En mathématiques, une équation différentielle est une équation dont la ou les « inconnue(s) » sont des fonctions ; elle se présente sous la forme d'une relation entre ces fonctions inconnues et leurs dérivées successives. C'est un cas particulier d'équation fonctionnelle. On distingue généralement deux types d'équations différentielles : les équations différentielles ordinaires (EDO) où la ou les fonctions inconnues recherchées ne dépendent que d'une seule variable ; les équations différentielles partielles, plutôt appelées équations aux dérivées partielles (EDP), où la ou les fonctions inconnues recherchées peuvent dépendre de plusieurs variables indépendantes.

Topologie différentielle

La topologie différentielle est une branche des mathématiques qui étudie les fonctions différentiables définies sur des variétés différentielles, ainsi que les applications différentiables entre variétés différentielles. Elle est reliée à la géométrie différentielle, discipline avec laquelle elle se conjugue pour construire une théorie géométrique des variétés différentiables. Variété différentielle Les variétés différentielles constituent le cadre de base de la topologie différentielle.

Algorithme du gradient

Lalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.

Équation différentielle ordinaire

En mathématiques, une équation différentielle ordinaire (parfois simplement appelée équation différentielle et abrégée en EDO) est une équation différentielle dont la ou les fonctions inconnues ne dépendent que d'une seule variable; elle se présente sous la forme d'une relation entre ces fonctions inconnues et leurs dérivées successives. Le terme ordinaire est utilisé par opposition au terme équation différentielle partielle (plus communément équation aux dérivées partielles, ou EDP) où la ou les fonctions inconnues peuvent dépendre de plusieurs variables.

Afficher plus

Séances de cours associées (64)

Fonctions avec des valeurs dans Rm

Explore les fonctions avec des valeurs dans Rm, les gradients, les dérivés et la matrice jacobienne dans plusieurs dimensions.

Calcul différentiel : applications et rappels

Couvre les applications de calcul différentiel et les rappels, en soulignant l'importance de la différentiabilité dans l'analyse mathématique.

Classement multiclasses

Couvre le concept de classification multiclasse et les défis de la séparation linéaire des données avec les classes multiples.

Approximation linéaire et paramétrique dérivée

Couvre l'approximation linéaire, les dérivées paramétriques et les conditions de différentiabilité sur les intervalles.

Compléments mathématiques: df ou φf, Conséquences

Examine les conséquences des formes différentielles exactes et les conditions nécessaires pour les différences exactes totales, à l'aide d'exemples de randonnées en montagne.

Afficher plus

Concepts associés (32)

Algorithme du gradient stochastique

Équation différentielle

Topologie différentielle

Algorithme du gradient

Équation différentielle ordinaire

Afficher plus