Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Pièges dans la recherche empirique sur la PNL

Dans cours

EE-608: Deep Learning For Natural Language Processing

This course covers advanced topics in deep learning architectures for natural language processing. The focus is on attention-based architectures, structure processing and variational-Bayesian approaches, and why these models are particularly suited to the ...

Description

Cette séance de cours explore les pièges courants rencontrés dans la recherche empirique sur la PNL, en mettant l'accent sur l'évaluation des modèles et l'importance des tests statistiques. L'instructeur discute de l'utilisation exclusive de la métrique BLEU, de l'impact de l'accord hyperparamétrique et de la signification de la puissance statistique dans la détection des différences réelles. À travers l’analyse de divers articles, la séance de cours souligne la nécessité de mesures normalisées, de reproductibilité et d’un effort communautaire pour améliorer la qualité de la recherche dans le domaine de la PNL.

Enseignant·e

James Henderson

Source officielle

Concepts associés (9)

Test statistique

En statistiques, un test, ou test d'hypothèse, est une procédure de décision entre deux hypothèses. Il s'agit d'une démarche consistant à rejeter ou à ne pas rejeter une hypothèse statistique, appelée hypothèse nulle, en fonction d'un échantillon de données. Il s'agit de statistique inférentielle : à partir de calculs réalisés sur des données observées, on émet des conclusions sur la population, en leur rattachant des risques d'être erronées. Hypothèse nulle L'hypothèse nulle notée H est celle que l'on considère vraie a priori.

Signification statistique

vignette|statistique En statistiques, le résultat d'études qui portent sur des échantillons de population est dit statistiquement significatif lorsqu'il semble exprimer de façon fiable un fait auquel on s'intéresse, par exemple la différence entre 2 groupes ou une corrélation entre 2 données. Dit autrement, il est alors très peu probable que ce résultat apparent soit en fait trompeur s'il n'est pas dû, par exemple, à un , trop petit ou autrement non représentatif (surtout si la population est très diverse).

Statistique de test

En statistique, une statistique de test - aussi appelée variable de décision - est une variable aléatoire construite à partir d'un échantillon statistique permettant de formuler une règle de décision pour un test statistique. Cette statistique n'est pas unique, ce qui permet de construire différentes règles de décision et de les comparer à l'aide de la notion de puissance statistique. Il est impératif de connaitre sa loi de probabilité lorsque l'hypothèse nulle est vraie. Sa loi sous l'hypothèse alternative est souvent inconnue.

Test du rapport de vraisemblance

En statistiques, le test du rapport de vraisemblance est un test statistique qui permet de tester un modèle paramétrique contraint contre un non contraint. Si on appelle le vecteur des paramètres estimés par la méthode du maximum de vraisemblance, on considère un test du type : contre On définit alors l'estimateur du maximum de vraisemblance et l'estimateur du maximum de vraisemblance sous .

Puissance statistique

La puissance statistique d'un test est en statistique la probabilité de rejeter l'hypothèse nulle (par exemple l'hypothèse selon laquelle les groupes sont identiques au regard d'une variable) sachant que l'hypothèse nulle est incorrecte (en réalité les groupes sont différents). On peut l'exprimer sous la forme 1-β où β est le risque de c'est-à-dire le risque de ne pas démontrer que deux groupes sont différents alors qu'ils le sont dans la réalité.

Afficher plus

Séances de cours associées (32)

Analyse de l'en-tête : Impact linguistique et réussite

Explore l'influence du langage sur le succès général grâce à l'analyse des données et aux tests statistiques dans le monde réel.

Test d'hypothèse statistique: paires unilatérales et bilatérales

Explore les paires unilatérales et bilatérales dans les tests d'hypothèses statistiques, couvrant les valeurs critiques, les statistiques de test et les valeurs de p.

Tests de propriétés : distribution uniforme

Couvre les tests de propriétés pour des distributions uniformes et l'importance de prédictions fiables.

GLM et tests statistiques illustrés

Explore GLM, tests statistiques, signaux neuraux et traitement des signaux, couvrant les contrastes, les comparaisons multiples, les tests F, la connectivité fonctionnelle, l'IRMf à l'état de repos et les méthodes multivariées.

Essais de spécifications et apprentissage automatique

Explore les tests de spécification, l'apprentissage automatique, le surajustement, la régularisation, les tests de prédiction et la sélection de variables.

Afficher plus

Concepts associés (9)

Test statistique

Signification statistique

Statistique de test

Test du rapport de vraisemblance

Puissance statistique

Afficher plus