Séance de cours

Pièges dans la recherche empirique sur la PNL

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-608: Deep Learning For Natural Language Processing

This course covers advanced topics in deep learning architectures for natural language processing. The focus is on attention-based architectures, structure processing and variational-Bayesian approaches, and why these models are particularly suited to the ...

Description

Cette séance de cours explore les pièges courants rencontrés dans la recherche empirique sur la PNL, en mettant l'accent sur l'évaluation des modèles et l'importance des tests statistiques. L'instructeur discute de l'utilisation exclusive de la métrique BLEU, de l'impact de l'accord hyperparamétrique et de la signification de la puissance statistique dans la détection des différences réelles. À travers l’analyse de divers articles, la séance de cours souligne la nécessité de mesures normalisées, de reproductibilité et d’un effort communautaire pour améliorer la qualité de la recherche dans le domaine de la PNL.

Enseignant·e

James Henderson

Enseignement et PhD Doctorant·es actuel·les Haruki Shirakami, Dina El Zein, Jose Rafael Espinosa Mena, Kimia Alavi, Mojtaba Nafez A co-dirigé les thèses EPFL de Lesly Sadiht Miculicich Werlen, Rabeeh Karimi Mahabadi, Alireza Mohammadshahi, Andreas Thomas Marfurt, Jan Frederik Jonas Florian Mai, Melika Behjati, Fabio James Fehr, Andrei Catalin Coman Cours Deep Learning For Natural Language Processing EE-608

Source officielle

Concepts associés (14)

Test statistique

En statistiques, un test, ou test d'hypothèse, est une procédure de décision entre deux hypothèses. Il s'agit d'une démarche consistant à rejeter ou à ne pas rejeter une hypothèse statistique, appelée hypothèse nulle, en fonction d'un échantillon de données. Il s'agit de statistique inférentielle : à partir de calculs réalisés sur des données observées, on émet des conclusions sur la population, en leur rattachant des risques d'être erronées. Hypothèse nulle L'hypothèse nulle notée H est celle que l'on considère vraie a priori.

Signification statistique

vignette|statistique En statistiques, le résultat d'études qui portent sur des échantillons de population est dit statistiquement significatif lorsqu'il semble exprimer de façon fiable un fait auquel on s'intéresse, par exemple la différence entre 2 groupes ou une corrélation entre 2 données. Dit autrement, il est alors très peu probable que ce résultat apparent soit en fait trompeur s'il n'est pas dû, par exemple, à un , trop petit ou autrement non représentatif (surtout si la population est très diverse).

Statistique de test

En statistique, une statistique de test - aussi appelée variable de décision - est une variable aléatoire construite à partir d'un échantillon statistique permettant de formuler une règle de décision pour un test statistique. Cette statistique n'est pas unique, ce qui permet de construire différentes règles de décision et de les comparer à l'aide de la notion de puissance statistique. Il est impératif de connaitre sa loi de probabilité lorsque l'hypothèse nulle est vraie. Sa loi sous l'hypothèse alternative est souvent inconnue.

Test du rapport de vraisemblance

En statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .

Puissance statistique

La puissance statistique d'un test est en statistique la probabilité de rejeter l'hypothèse nulle (par exemple l'hypothèse selon laquelle les groupes sont identiques au regard d'une variable) sachant que l'hypothèse nulle est incorrecte (en réalité les groupes sont différents). On peut l'exprimer sous la forme 1-β où β est le risque de c'est-à-dire le risque de ne pas démontrer que deux groupes sont différents alors qu'ils le sont dans la réalité.

Afficher plus

Séances de cours associées (46)

Analyse de l'en-tête : Impact linguistique et réussite

Explore l'influence du langage sur le succès général grâce à l'analyse des données et aux tests statistiques dans le monde réel.

Données descriptives: Statistiques et incertitude

Introduit des statistiques descriptives, une quantification de l'incertitude et des relations variables, soulignant l'importance de l'interprétation statistique et de l'analyse critique.

Test d'hypothèse statistique: paires unilatérales et bilatérales

Explore les paires unilatérales et bilatérales dans les tests d'hypothèses statistiques, couvrant les valeurs critiques, les statistiques de test et les valeurs de p.

Tests d'hypothèse et intervalles de confiance: concepts clés

Fournit un aperçu des tests d'hypothèses et des intervalles de confiance dans les statistiques, y compris des exemples pratiques et des concepts clés.

Tests de propriétés : distribution uniforme

Couvre les tests de propriétés pour des distributions uniformes et l'importance de prédictions fiables.

Afficher plus

Concepts associés (14)

Test statistique

Signification statistique

Statistique de test

Test du rapport de vraisemblance

Puissance statistique

Afficher plus