Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Évaluation du modèle

Dans cours

CS-421: Machine learning for behavioral data

Computer environments such as educational games, interactive simulations, and web services provide large amounts of data, which can be analyzed and serve as a basis for adaptation. This course will cover the core methods of user modeling and personalizatio ...

Description

Cette séance de cours porte sur l'évaluation des modèles dans l'apprentissage automatique, en mettant l'accent sur l'évaluation et la sélection des modèles, la théorie derrière la perte attendue, l'erreur de formation et l'erreur de prédiction. Il traite également des méthodes de rééchantillonnage comme la validation croisée et le piégeage des bottes, ainsi que des critères d'information tels que l'AIC et le BIC. L'instructeur insiste sur l'importance de comparer le rendement du modèle aux modèles de référence et de quantifier l'incertitude dans les mesures du rendement.

Source officielle

Concepts associés (32)

Jeux d'entrainement, de validation et de test

En apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Statistical model validation

In statistics, model validation is the task of evaluating whether a chosen statistical model is appropriate or not. Oftentimes in statistical inference, inferences from models that appear to fit their data may be flukes, resulting in a misunderstanding by researchers of the actual relevance of their model. To combat this, model validation is used to test whether a statistical model can hold up to permutations in the data.

Bootstrap (statistiques)

En statistiques, les techniques de bootstrap sont des méthodes d'inférence statistique basées sur la réplication multiple des données à partir du jeu de données étudié, selon les techniques de rééchantillonnage. Elles datent de la fin des années 1970, époque où la possibilité de calculs informatiques intensifs devient abordable. On calculait depuis près d'un siècle des estimations : mesures de dispersion (variance, écart-type), intervalles de confiance, tables de décision pour des tests d'hypothèse, etc.

Generalization error

For supervised learning applications in machine learning and statistical learning theory, generalization error (also known as the out-of-sample error or the risk) is a measure of how accurately an algorithm is able to predict outcome values for previously unseen data. Because learning algorithms are evaluated on finite samples, the evaluation of a learning algorithm may be sensitive to sampling error. As a result, measurements of prediction error on the current data may not provide much information about predictive ability on new data.

Afficher plus

Séances de cours associées (51)

Évaluation du modèle: K-Nearest Neighbor

Explore l'évaluation des modèles avec K-Nearest Neighbor, couvrant la sélection optimale de k, les mesures de similarité et les mesures de performance pour les modèles de classification.

Critères de sélection du modèle : AIC, BIC, Cp

Explore les critères de sélection des modèles comme l'AIC, le BIC et le Cp en statistique pour la science des données.

Sélection du modèle : Généralisation et Validation

Explore la généralisation, la sélection des modèles et la validation dans l'apprentissage automatique, en soulignant l'importance de l'évaluation impartiale des modèles.

Régression linéaire et descente progressive

Couvre la régression linéaire, la descente par gradient, le surajustement et la régression par crête, entre autres concepts.

Suréquipement, validation croisée et régularisation

Explore le surajustement, la validation croisée et la régularisation dans l'apprentissage automatique, en mettant l'accent sur la complexité du modèle et l'importance de la force de régularisation.

Afficher plus

Concepts associés (32)

Jeux d'entrainement, de validation et de test

Validation croisée

Statistical model validation

Bootstrap (statistiques)

Generalization error

Afficher plus