vignette|Une régression linéaire. Les statistiques, dans le sens populaire du terme, traitent à l'aide des mathématiques l'étude de groupe d'une population. En statistique descriptive, on se contente de décrire un échantillon à partir de grandeurs comme la moyenne, la médiane, l'écart type, la proportion, la corrélation, etc. C'est souvent la technique qui est utilisée dans les recensements. Dans un sens plus large, la théorie statistique est utilisée en recherche dans un but inférentiel. Le but de l'inférence statistique est de dégager le portrait d'une population donnée, à partir de l'image plus ou moins floue constituée à l'aide d'un échantillon issu de cette population. Dans un autre ordre d'idées, il existe aussi la statistique « mathématique » où le défi est de trouver des estimateurs judicieux (non biaisés et efficaces). L'analyse des propriétés mathématiques de ces estimateurs sont au cœur du travail du mathématicien spécialiste de la statistique. La statistique mathématique repose sur la théorie des probabilités. Des notions comme la mesurabilité ou la convergence en loi y sont souvent utilisées. Mais il faut distinguer la statistique en tant que discipline et la statistique en tant que fonction des données. Une fois les bases de la théorie des probabilités acquises, il est possible de définir une statistique à partir d'une fonction mesurable à arguments. Lorsque les valeurs sont des réalisations d'une même variable aléatoire , on note : La loi de dépend uniquement de la loi de et de la forme de . La fonction de répartition d'une variable aléatoire réelle (cette définition s'étend naturellement aux variables aléatoires à valeurs dans des espaces de dimension quelconque) associe à une valeur la probabilité qu'une réalisation de soit plus petite que : Lorsqu'on dispose de réalisations de , on peut construire la fonction de répartition empirique de ainsi (on note la valeur ordonnée des et on pose arbitrairement et ) : de même, la loi empirique peut se définir (pour tout borélien ) comme : Le théorème de Glivenko-Cantelli assure la convergence de la fonction de répartition de la loi empirique vers la fonction de répartition de la loi originale lorsque la taille de l'échantillon augmente vers l'infini.