Séance de cours

Évaluation du rendement : Démarrage et mesure du rendement

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre l'évaluation des modèles d'apprentissage automatique à travers des techniques telles que le leave-one-out et bootstrap, en discutant de leurs avantages et inconvénients. Il explique également les paramètres de performance tels que les matrices de confusion, le rappel, la précision et la mesure F. L'instructeur fournit des exemples pour illustrer ces concepts, y compris des scénarios liés au diagnostic médical. Des terminologies comme les faux positifs et les faux négatifs sont définies, et l'importance du rappel dans l'évaluation du modèle est soulignée.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Classement automatique

Concepts associés (20)

False positives and false negatives

A false positive is an error in binary classification in which a test result incorrectly indicates the presence of a condition (such as a disease when the disease is not present), while a false negative is the opposite error, where the test result incorrectly indicates the absence of a condition when it is actually present. These are the two kinds of errors in a binary test, in contrast to the two kinds of correct result (a and a ).

Précision et rappel

vignette|350px|Précision et rappel (« recall »). La précision compte la proportion d'items pertinents parmi les items sélectionnés alors que le rappel compte la proportion d'items pertinents sélectionnés parmi tous les items pertinents sélectionnables. Dans les domaines de la reconnaissance de formes, de la recherche d'information et de la classification automatique, la précision (ou valeur prédictive positive) est la proportion des items pertinents parmi l'ensemble des items proposés ; le rappel (ou sensibilité) est la proportion des items pertinents proposés parmi l'ensemble des items pertinents.

Valeur prédictive

En statistique et en épidémiologie, la valeur prédictive d'un test est la probabilité qu'une condition soit présente en fonction du résultat de ce test. Le test doit être dichotomique, c’est-à-dire qu’il ne peut donner que deux résultats différents. La valeur prédictive positive est la probabilité que la condition soit présente lorsque le test est positif. La valeur prédictive négative est la probabilité que la condition ne soit pas présente lorsque le test est négatif.

False positive rate

In statistics, when performing multiple comparisons, a false positive ratio (also known as fall-out or false alarm ratio) is the probability of falsely rejecting the null hypothesis for a particular test. The false positive rate is calculated as the ratio between the number of negative events wrongly categorized as positive (false positives) and the total number of actual negative events (regardless of classification). The false positive rate (or "false alarm rate") usually refers to the expectancy of the false positive ratio.

Matrice de confusion

En apprentissage automatique supervisé, la matrice de confusion est une matrice qui mesure la qualité d'un système de classification. Chaque ligne correspond à une classe réelle, chaque colonne correspond à une classe estimée. La cellule ligne L, colonne C contient le nombre d'éléments de la classe réelle L qui ont été estimés comme appartenant à la classe C. Attention il y a parfois interversion des axes de la matrice en fonction des auteurs.

Afficher plus

Séances de cours associées (44)

Tests diagnostiques : sensibilité et spécificité

Explique la sensibilité, la spécificité, la courbe ROC et la précision dans les tests de diagnostic.

Critères de performance : Matrice de confusion, rappel, précision, exactitude

Explore les critères de performance dans l'apprentissage supervisé, en mettant l'accent sur la précision, le rappel et la spécificité dans l'évaluation des modèles.

Machine Learning : Fonctionnalités et sélection de modèles

Plongez dans l'importance des fonctionnalités, de l'évolution des modèles, des défis d'étiquetage et de la sélection des modèles dans l'apprentissage automatique.

Protocoles d'évaluation

Explore les protocoles d'évaluation dans l'apprentissage automatique, y compris le rappel, la précision, la précision et la spécificité, avec des exemples du monde réel comme les tests COVID-19.

Appliquée Machine Learning

Introduit des concepts d'apprentissage automatique appliqués tels que la collecte de données, l'ingénierie des caractéristiques, la sélection des modèles et les mesures d'évaluation du rendement.

Afficher plus

Concepts associés (20)

False positives and false negatives