Séance de cours

Validation croisée : Techniques et applications

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

DH-406: Machine learning for DH

This course aims to introduce the basic principles of machine learning in the context of the digital humanities. We will cover both supervised and unsupervised learning techniques, and study and implement methods to analyze diverse data types, such as imag ...

Description

Cette séance de cours couvre le concept de validation croisée, y compris la validation croisée du facteur k et les méthodes de sortie unique. Il explique comment la validation croisée aide à la sélection des modèles et au réglage hyperparamétrique. La séance de cours discute également de l'adéquation excessive avec les modèles linéaires, les techniques de régularisation, et leur application dans la régression linéaire et la régression logistique. De plus, il explore la régression des crêtes multi-sorties, la régression des crêtes du noyau et l'incorporation de la régularisation dans les machines vectorielles de soutien. Des exemples pratiques et des exercices sont fournis pour renforcer les concepts théoriques.

Enseignant·e

Mathieu Salzmann

I am a Senior Researcher at EPFL-CVLab, and, since May 2020, an Artificial Intelligence Engineer at ClearSpace (50%). Previously, I was a Senior Researcher and Research Leader in NICTA's computer vision research group. Prior to this, from Sept. 2010 to Jan 2012, I was a Research Assistant Professor at TTI-Chicago, and, from Feb. 2009 to Aug. 2010, a postdoctoral fellow at ICSI and EECS at UC Berkeley under the supervision of Prof. Trevor Darrell. I obtained my PhD in Jan. 2009 from EPFL under the supervision of Prof. Pascal Fua.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques), Validation croisée

Concepts associés (32)

Bayesian linear regression

Bayesian linear regression is a type of conditional modeling in which the mean of one variable is described by a linear combination of other variables, with the goal of obtaining the posterior probability of the regression coefficients (as well as other parameters describing the distribution of the regressand) and ultimately allowing the out-of-sample prediction of the regressand (often labelled ) conditional on observed values of the regressors (usually ).

Régularisation (mathématiques)

vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.

Régularisation (physique)

En physique théorique, la régularisation est une procédure ad-hoc qui consiste à modifier une grandeur physique qui présente une singularité afin de la rendre régulière. La régularisation est par exemple abondamment utilisée en théorie quantique des champs en relation avec la procédure de renormalisation, ainsi qu'en relativité générale pour le calcul du problème à deux corps en paramétrisation post-newtonienne. Le potentiel newtonien en coordonnées sphériques s'écrit : où k est une constante.

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Multinomial logistic regression

In statistics, multinomial logistic regression is a classification method that generalizes logistic regression to multiclass problems, i.e. with more than two possible discrete outcomes. That is, it is a model that is used to predict the probabilities of the different possible outcomes of a categorically distributed dependent variable, given a set of independent variables (which may be real-valued, binary-valued, categorical-valued, etc.).

Afficher plus

Séances de cours associées (64)

Algorithmes ML non linéaires

Introduit des algorithmes ML non linéaires, couvrant le voisin le plus proche, k-NN, ajustement des courbes polynômes, complexité du modèle, surajustement, et régularisation.

Fondements de l'apprentissage automatique

Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.

Régression linéaire et régression logistique

Couvre la régression linéaire et logistique pour les tâches de régression et de classification, en mettant l'accent sur les fonctions de perte et la formation de modèle.

Régression linéaire et dorsale

Couvre la régression linéaire et de crête, le surajustement, les hyperparamètres et les ensembles d'essai.

Suréquipement, validation croisée et régularisation

Explore le surajustement, la validation croisée et la régularisation dans l'apprentissage automatique, en mettant l'accent sur la complexité du modèle et l'importance de la force de régularisation.

Afficher plus

Concepts associés (32)

Bayesian linear regression

Régularisation (mathématiques)

Régularisation (physique)

Regularized least squares

Multinomial logistic regression

Afficher plus