Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Validation simple, cross-validation, leave-one-out

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours présente des techniques simples de validation, de validation croisée et de CV sans correction pour obtenir des estimations impartiales du risque des prédicteurs appris, ainsi que leur application pour l'ajustement hyperparamétrique.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (16)

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Jeux d'entrainement, de validation et de test

En apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .

Hyperparameter optimization

In machine learning, hyperparameter optimization or tuning is the problem of choosing a set of optimal hyperparameters for a learning algorithm. A hyperparameter is a parameter whose value is used to control the learning process. By contrast, the values of other parameters (typically node weights) are learned. The same kind of machine learning model can require different constraints, weights or learning rates to generalize different data patterns.

Statistical model validation

In statistics, model validation is the task of evaluating whether a chosen statistical model is appropriate or not. Oftentimes in statistical inference, inferences from models that appear to fit their data may be flukes, resulting in a misunderstanding by researchers of the actual relevance of their model. To combat this, model validation is used to test whether a statistical model can hold up to permutations in the data.

Regression validation

In statistics, regression validation is the process of deciding whether the numerical results quantifying hypothesized relationships between variables, obtained from regression analysis, are acceptable as descriptions of the data. The validation process can involve analyzing the goodness of fit of the regression, analyzing whether the regression residuals are random, and checking whether the model's predictive performance deteriorates substantially when applied to data that were not used in model estimation.

Afficher plus

Séances de cours associées (31)

Évaluation du modèle et réglage de l'hyperparamètre

Explore l'évaluation des modèles, le réglage hyperparamétrique et les stratégies de rééchantillonnage dans l'apprentissage automatique.

Bases de l'apprentissage automatique

Introduit les bases de l'apprentissage automatique, y compris la collecte de données, l'évaluation des modèles et la normalisation des fonctionnalités.

Suréquipement, validation croisée et régularisation

Explore le surajustement, la validation croisée et la régularisation dans l'apprentissage automatique, en mettant l'accent sur la complexité du modèle et l'importance de la force de régularisation.

Sélection du modèle : Généralisation et Validation

Explore la généralisation, la sélection des modèles et la validation dans l'apprentissage automatique, en soulignant l'importance de l'évaluation impartiale des modèles.

Sans titre

Afficher plus

Concepts associés (16)

Validation croisée

Jeux d'entrainement, de validation et de test

Hyperparameter optimization

Statistical model validation

Regression validation

Afficher plus