Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Classification binaire linéaire: Perceptron, SGD, Fisher's LDA

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre le modèle Perceptron, y compris l'algorithme d'apprentissage pour les cas séparables et non séparables, la descente de gradient stochastique et le discriminant linéaire de Fisher. Il traite également de la convergence des algorithmes, de la minimisation des risques et de la classification générative.

Enseignant·e

Yoav Zemel

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Apprentissage automatique

Concepts associés (32)

Classifieur linéaire

En apprentissage automatique, les classifieurs linéaires sont une famille d'algorithmes de classement statistique. Le rôle d'un classifieur est de classer dans des groupes (des classes) les échantillons qui ont des propriétés similaires, mesurées sur des observations. Un classifieur linéaire est un type particulier de classifieur, qui calcule la décision par combinaison linéaire des échantillons. « Classifieur linéaire » est une traduction de l'anglais linear classifier.

Perceptron

Le perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt au laboratoire d'aéronautique de l'université Cornell. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparatrice entre les deux classes.

Classement automatique

vignette|La fonction 1-x^2-2exp(-100x^2) (rouge) et les valeurs déplacées par un bruit de 0,1*N(0,1). Le classement automatique ou classification supervisée est la catégorisation algorithmique d'objets. Elle consiste à attribuer une classe ou catégorie à chaque objet (ou individu) à classer, en se fondant sur des données statistiques. Elle fait couramment appel à l'apprentissage automatique et est largement utilisée en reconnaissance de formes. En français, le classement fait référence à l'action de classer donc de « ranger dans une classe ».

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Espace séparable

En mathématiques, et plus précisément en topologie, un espace séparable est un espace topologique contenant un sous-ensemble dense et au plus dénombrable, c'est-à-dire contenant un ensemble fini ou dénombrable de points dont l'adhérence est égale à l'espace topologique tout entier. espace à base dénombrable Tout espace à base dénombrable est séparable. La réciproque est fausse, mais : Tout espace pseudométrisable séparable est à base dénombrable.Beaucoup d'espaces usuels sont de ce type.

Afficher plus

Séances de cours associées (36)

Perceptron: Partie 2

Couvre l'algorithme Perceptron et son application aux problèmes de classification binaire, y compris l'algorithme Pocket Perceptron.

Classification binaire linéaire

Couvre l'extension de la perte 0-1 aux fonctions de score à valeur réelle et à la régression logistique.

Introduction à l'apprentissage par la descente en gradient stochastique: Perceptron simple

Couvre la dérivation de la formule de descente de gradient stochastique pour un perceptron simple et explore l'interprétation géométrique de la classification.

Régression linéaire généralisée : classification

Explorer la régression linéaire généralisée, la classification, les matrices de confusion, les courbes ROC et le bruit dans les données.

Classification linéaire : Distance signée et Perceptron

Explore la distance signée, le perceptron, la régression logistique, l'entropie croisée et la classification multi-classes.

Afficher plus

Concepts associés (32)

Classifieur linéaire

Perceptron

Classement automatique

Algorithme du gradient stochastique

Espace séparable

Afficher plus