Séance de cours

Évaluation du modèle: K-Nearest Neighbor

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-421: Machine learning for behavioral data

Computer environments such as educational games, interactive simulations, and web services provide large amounts of data, which can be analyzed and serve as a basis for adaptation. This course will cover the core methods of user modeling and personalizatio ...

Description

Cette séance de cours couvre l'évaluation des modèles, en se concentrant sur l'algorithme K-Nearest Neighbor. Il explique comment choisir la valeur k optimale en utilisant la validation croisée, différentes métriques de similarité et des techniques d'évaluation de modèle comme la validation croisée sans sortie. La séance de cours se penche également sur la théorie de la perte attendue, l'erreur de formation et les critères d'information tels que l'AIC et le BIC. Il se termine par une discussion détaillée sur les mesures de performance pour les modèles de classification, y compris la précision, la précision, le rappel, les courbes ROC, et limportance de comparer la performance du modèle aux modèles de référence.

Source officielle

Concepts associés (32)

Exactitude et précision

vignette|Schéma de l'exactitude et la précision appliquée à des lancers de fléchettes. Dans la mesure d'un ensemble, l'exactitude est la proximité des mesures à une valeur spécifique, tandis que la précision est la proximité des mesures les unes par rapport aux autres. L'exactitude a deux définitions : Plus communément, il s'agit d'une description des erreurs systématiques, une mesure du biais statistique ; une faible précision entraîne une différence entre un résultat et une valeur « vraie ».

Précision et rappel

vignette|350px|Précision et rappel (« recall »). La précision compte la proportion d'items pertinents parmi les items sélectionnés alors que le rappel compte la proportion d'items pertinents sélectionnés parmi tous les items pertinents sélectionnables. Dans les domaines de la reconnaissance de formes, de la recherche d'information et de la classification automatique, la précision (ou valeur prédictive positive) est la proportion des items pertinents parmi l'ensemble des items proposés ; le rappel (ou sensibilité) est la proportion des items pertinents proposés parmi l'ensemble des items pertinents.

Jeux d'entrainement, de validation et de test

En apprentissage automatique, une tâche courante est l'étude et la construction d'algorithmes qui peuvent apprendre et faire des prédictions sur les données. De tels algorithmes fonctionnent en faisant des prédictions ou des décisions basées sur les données, en construisant un modèle mathématique à partir des données d'entrée. Ces données d'entrée utilisées pour construire le modèle sont généralement divisées en plusieurs jeux de données .

Validation croisée

La validation croisée () est, en apprentissage automatique, une méthode d’estimation de fiabilité d’un modèle fondée sur une technique d’échantillonnage. Supposons posséder un modèle statistique avec un ou plusieurs paramètres inconnus, et un ensemble de données d'apprentissage sur lequel on peut apprendre (ou « entraîner ») le modèle. Le processus d'apprentissage optimise les paramètres du modèle afin que celui-ci corresponde le mieux possible aux données d'apprentissage.

Statistical model validation

In statistics, model validation is the task of evaluating whether a chosen statistical model is appropriate or not. Oftentimes in statistical inference, inferences from models that appear to fit their data may be flukes, resulting in a misunderstanding by researchers of the actual relevance of their model. To combat this, model validation is used to test whether a statistical model can hold up to permutations in the data.

Afficher plus

Séances de cours associées (64)

Évaluation du modèle

S'insère dans l'évaluation du modèle, couvrant la théorie, l'erreur de formation, l'erreur de prédiction, les méthodes de rééchantillonnage et les critères d'information.

Algorithmes ML non linéaires

Introduit des algorithmes ML non linéaires, couvrant le voisin le plus proche, k-NN, ajustement des courbes polynômes, complexité du modèle, surajustement, et régularisation.

Arbres de régression et méthodes d'ensemble dans l'apprentissage automatique

Discute des arbres de régression, des méthodes d'ensemble et de leurs applications dans la prévision des prix des voitures d'occasion et des rendements des stocks.

Complexité du modèle et suréquipement dans l'apprentissage automatique

Couvre la complexité du modèle, l'ajustement excessif et les stratégies pour sélectionner les modèles d'apprentissage automatique appropriés.

Critères de sélection du modèle : AIC, BIC, Cp

Explore les critères de sélection des modèles comme l'AIC, le BIC et le Cp en statistique pour la science des données.

Afficher plus

Concepts associés (32)

Exactitude et précision

Précision et rappel

Jeux d'entrainement, de validation et de test

Validation croisée

Statistical model validation

Afficher plus