Séance de cours

Sélection et évaluation des modèles

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours porte sur l'importance de concevoir un cadre expérimental pour choisir un modèle d'apprentissage supervisé, choisir des critères d'évaluation et estimer le rendement en matière de généralisation. Il explique la distinction entre l'évaluation du modèle et la sélection, l'estimation empirique de l'erreur de généralisation, l'importance de la formation et des ensembles de données d'essai, le rôle des ensembles de validation, les techniques de validation croisée et les inconvénients de la validation sans interruption. L'instructeur met l'accent sur les aspects critiques de l'évaluation du modèle afin d'éviter le surajustement et d'assurer une évaluation précise du rendement.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Validation croisée

Concepts associés (32)

Jeux d'entrainement, de validation et de test

En apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Generalization error

For supervised learning applications in machine learning and statistical learning theory, generalization error (also known as the out-of-sample error or the risk) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. Because learning algorithms are evaluated on finite samples, the evaluation of a learning algorithm may be sensitive to sampling error. As a result, measurements of prediction error on the current data may not provide much information about predictive ability on new data.

Statistical model validation

In statistics, model validation is the task of evaluating whether a chosen statistical model is appropriate or not. Oftentimes in statistical inference, inferences from models that appear to fit their data may be flukes, resulting in a misunderstanding by researchers of the actual relevance of their model. To combat this, model validation is used to test whether a statistical model can hold up to permutations in the data.

Regression validation

In statistics, regression validation is the process of deciding whether the numerical results quantifying hypothesized relationships between variables, obtained from regression analysis, are acceptable as descriptions of the data. The validation process can involve analyzing the goodness of fit of the regression, analyzing whether the regression residuals are random, and checking whether the model's predictive performance deteriorates substantially when applied to data that were not used in model estimation.

Afficher plus

Séances de cours associées (64)

Overfitting dans l'apprentissage supervisé: études de cas et techniques

Aborde l'ajustement excessif dans l'apprentissage supervisé par le biais d'études de cas de régression polynomiale et de techniques de sélection de modèles.

Complexité du modèle et suréquipement dans l'apprentissage automatique

Couvre la complexité du modèle, l'ajustement excessif et les stratégies pour sélectionner les modèles d'apprentissage automatique appropriés.

Lecture 05 (2024)

Évaluation du modèle et réglage de l'hyperparamètre

Explore l'évaluation des modèles, le réglage hyperparamétrique et les stratégies de rééchantillonnage dans l'apprentissage automatique.

Sélection du modèle : évaluation et généralisation

Explore la sélection, l'évaluation et la généralisation des modèles dans l'apprentissage automatique, en mettant l'accent sur l'estimation impartiale des performances et les risques de surapprentissage.

Afficher plus

Concepts associés (32)

Jeux d'entrainement, de validation et de test

Validation croisée

Generalization error

Statistical model validation

Regression validation

Afficher plus