Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Support Vecteurs Machines: Théorie et Optimisation

Dans cours

MGT-448: Statistical inference and machine learning

This course aims to provide graduate students a thorough grounding in the methods, theory, mathematics and algorithms needed to do research and applications in machine learning. The course covers topics from machine learning, classical statistics, and data ...

Description

Cette séance de cours couvre la théorie et l'optimisation de Support Vector Machines (SVM). Il explique le théorème de Mercer pour les noyaux valides, le concept de matrice de noyau, et la formulation mathématique de SVM. L'instructeur discute de l'équation hyperplane, du rôle des vecteurs normaux et de la dualité de Lagrange dans l'optimisation SVM.

Enseignant·e

Negar Kiyavash

Source officielle

Concepts associés (32)

Multiplicateur de Lagrange

En mathématiques, et plus particulièrement en analyse, la méthode des multiplicateurs de Lagrange permet de trouver les points stationnaires (maximum, minimum...) d'une fonction dérivable d'une ou plusieurs variables, sous contraintes. On cherche à trouver l'extremum, un minimum ou un maximum, d'une fonction φ de n variables à valeurs dans les nombres réels, ou encore d'un espace euclidien de dimension n, parmi les points respectant une contrainte, de type ψ(x) = 0 où ψ est une fonction du même ensemble de départ que φ.

Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Hyperplan

En mathématiques et plus particulièrement en algèbre linéaire et géométrie, les hyperplans d'un espace vectoriel E de dimension quelconque sont la généralisation des plans vectoriels d'un espace de dimension 3 : ce sont les sous-espaces vectoriels de codimension 1 dans E. Si E est de dimension finie n non nulle, ses hyperplans sont donc ses sous-espaces de dimension n – 1 : par exemple l'espace nul dans une droite vectorielle, une droite vectorielle dans un plan vectoriel Soient E un espace vectoriel et H un sous-espace.

Dualité (optimisation)

En théorie de l'optimisation, la dualité ou principe de dualité désigne le principe selon lequel les problèmes d'optimisation peuvent être vus de deux perspectives, le problème primal ou le problème dual, et la solution du problème dual donne une borne inférieure à la solution du problème (de minimisation) primal. Cependant, en général les valeurs optimales des problèmes primal et dual ne sont pas forcément égales : cette différence est appelée saut de dualité. Pour les problèmes en optimisation convexe, ce saut est nul sous contraintes.

Équation linéaire

Une équation à coefficients réels ou complexes est dite linéaire quand elle peut être présentée sous la forme ax = b ou, de manière équivalente ax – b = 0, où x est l'inconnue, a et b sont deux nombres donnés. Si a est différent de zéro, la seule solution est le nombre x = b/a. Plus généralement, une équation est dite linéaire lorsqu'elle se présente sous la forme u(x) = b, où u est une application linéaire entre deux espaces vectoriels E et F, b étant un vecteur donné de F. On recherche l'inconnue x dans E.

Afficher plus

Séances de cours associées (33)

Optimisation avec contraintes : conditions KKT

Couvre les conditions KKT pour l'optimisation avec des contraintes, essentielles pour résoudre efficacement les problèmes d'optimisation.

Machines vectorielles de soutien: SVM Basics

Couvre les bases de Support Vector Machines, en se concentrant sur les formulations de marge dure et de marge molle.

Méthodes d'optimisation : discussion théorique

Explore les méthodes d'optimisation, y compris les problèmes sans contraintes, la programmation linéaire et les approches heuristiques.

Systèmes linéaires: Chapitres 4, 5, 6

Explore le lien entre les systèmes linéaires et l'optimisation par élimination et décomposition de LU.

Méthodes d'optimisation

Couvre les méthodes d'optimisation, en se concentrant sur les méthodes de gradient et les techniques de recherche de ligne.

Afficher plus

Concepts associés (32)

Multiplicateur de Lagrange

Astuce du noyau

Hyperplan

Dualité (optimisation)

Équation linéaire

Afficher plus