Maximum de vraisemblanceEn statistique, l'estimateur du maximum de vraisemblance est un estimateur statistique utilisé pour inférer les paramètres de la loi de probabilité d'un échantillon donné en recherchant les valeurs des paramètres maximisant la fonction de vraisemblance. Cette méthode a été développée par le statisticien Ronald Aylmer Fisher en 1922. Soient neuf tirages aléatoires x1, ..., x9 suivant une même loi ; les valeurs tirées sont représentées sur les diagrammes ci-dessous par des traits verticaux pointillés.
Linear least squaresLinear least squares (LLS) is the least squares approximation of linear functions to data. It is a set of formulations for solving statistical problems involved in linear regression, including variants for ordinary (unweighted), weighted, and generalized (correlated) residuals. Numerical methods for linear least squares include inverting the matrix of the normal equations and orthogonal decomposition methods. The three main linear least squares formulations are: Ordinary least squares (OLS) is the most common estimator.
Estimation spectraleL'estimation spectrale regroupe toutes les techniques d'estimation de la densité spectrale de puissance (DSP). Les méthodes d'estimation spectrale paramétriques utilisent un modèle pour obtenir une estimation du spectre. Ces modèles reposent sur une connaissance a priori du processus et peuvent être classées en trois grandes catégories : Modèles autorégressif (AR) Modèles à moyenne ajustée (MA) Modèles autorégressif à moyenne ajustée (ARMA). L'approche paramétrique se décompose en trois étapes : Choisir un modèle décrivant le processus de manière appropriée.
Méthode des moindres carrésLa méthode des moindres carrés, indépendamment élaborée par Legendre et Gauss au début du , permet de comparer des données expérimentales, généralement entachées d’erreurs de mesure, à un modèle mathématique censé décrire ces données. Ce modèle peut prendre diverses formes. Il peut s’agir de lois de conservation que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.
Noyau (statistiques)Un noyau est une fonction de pondération utilisée dans les techniques d'estimation non-paramétrique. Les noyaux interviennent dans l'estimateur par noyau pour estimer la densité de probabilité d'une variable aléatoire, ou encore dans la régression paramétrique (à noyau) pour estimer des espérances conditionnelles. Pour les séries temporelles, le noyau permet d'estimer la densité spectrale. Un noyau est une fonction positive, intégrable et à valeurs réelles, notée K, qui doit vérifier les deux conditions suivantes : normalisation : symétrie : pour toutes les valeurs de u.
Density estimationIn statistics, probability density estimation or simply density estimation is the construction of an estimate, based on observed data, of an unobservable underlying probability density function. The unobservable density function is thought of as the density according to which a large population is distributed; the data are usually thought of as a random sample from that population. A variety of approaches to density estimation are used, including Parzen windows and a range of data clustering techniques, including vector quantization.
Estimation par noyauEn statistique, l’estimation par noyau (ou encore méthode de Parzen-Rosenblatt ; en anglais, kernel density estimation ou KDE) est une méthode non-paramétrique d’estimation de la densité de probabilité d’une variable aléatoire. Elle se base sur un échantillon d’une population statistique et permet d’estimer la densité en tout point du support. En ce sens, cette méthode généralise astucieusement la méthode d’estimation par un histogramme. Si est un échantillon i.i.d.
Suite de polynômes orthogonauxEn mathématiques, une suite de polynômes orthogonaux est une suite infinie de polynômes p0(x), p1(x), p2(x) ... à coefficients réels, dans laquelle chaque pn(x) est de degré n, et telle que les polynômes de la suite sont orthogonaux deux à deux pour un produit scalaire de fonctions donné. Cette notion est utilisée par exemple en cryptologie ou en analyse numérique. Elle permet de résoudre de nombreux problèmes de physique, comme en mécanique des fluides ou en traitement du signal.
Théorie de l'estimationEn statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures.
Total least squaresIn applied statistics, total least squares is a type of errors-in-variables regression, a least squares data modeling technique in which observational errors on both dependent and independent variables are taken into account. It is a generalization of Deming regression and also of orthogonal regression, and can be applied to both linear and non-linear models. The total least squares approximation of the data is generically equivalent to the best, in the Frobenius norm, low-rank approximation of the data matrix.
Classical orthogonal polynomialsIn mathematics, the classical orthogonal polynomials are the most widely used orthogonal polynomials: the Hermite polynomials, Laguerre polynomials, Jacobi polynomials (including as a special case the Gegenbauer polynomials, Chebyshev polynomials, and Legendre polynomials). They have many important applications in such areas as mathematical physics (in particular, the theory of random matrices), approximation theory, numerical analysis, and many others.
Statistiques non paramétriquesLa statistique non paramétrique est un domaine de la statistique qui ne repose pas sur des familles de loi de probabilité paramétriques. Les méthodes non paramétriques pour la régression comprennent les histogrammes, les méthodes d'estimation par noyau, les splines et les décompositions dans des dictionnaires de filtres (par exemple décomposition en ondelettes). Bien que le nom de non paramétriques soit donné à ces méthodes, elles reposent en vérité sur l'estimation de paramètres.
Régression linéaireEn statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.
Polynôme de Legendrethumb|upright=1.5|Polynômes de Legendre En mathématiques et en physique théorique, les polynômes de Legendre constituent l'exemple le plus simple d'une suite de polynômes orthogonaux. Ce sont des solutions polynomiales P(x), sur l'intervalle x ∈ [–1, 1], de l'équation différentielle de Legendre : dans le cas particulier où le paramètre n est un entier naturel. De façon équivalente, les polynômes de Legendre sont les fonctions propres de l'endomorphisme de R[X] défini par : pour les valeurs propres .
Méthode des moindres carrés ordinairevignette|Graphique d'une régression linéaire La méthode des moindres carrés ordinaire (MCO) est le nom technique de la régression mathématique en statistiques, et plus particulièrement de la régression linéaire. Il s'agit d'un modèle couramment utilisé en économétrie. Il s'agit d'ajuster un nuage de points selon une relation linéaire, prenant la forme de la relation matricielle , où est un terme d'erreur.
ParameterA parameter (), generally, is any characteristic that can help in defining or classifying a particular system (meaning an event, project, object, situation, etc.). That is, a parameter is an element of a system that is useful, or critical, when identifying the system, or when evaluating its performance, status, condition, etc. Parameter has more specific meanings within various disciplines, including mathematics, computer programming, engineering, statistics, logic, linguistics, and electronic musical composition.
Polynôme de TchebychevEn mathématiques, un polynôme de Tchebychev est un terme de l'une des deux suites de polynômes orthogonaux particulières reliées à la formule de Moivre. Les polynômes de Tchebychev sont nommés ainsi en l'honneur du mathématicien russe Pafnouti Lvovitch Tchebychev. Il existe deux suites de polynômes de Tchebychev, l'une nommée polynômes de Tchebychev de première espèce et notée T et l'autre nommée polynômes de Tchebychev de seconde espèce et notée U (dans les deux cas, l'entier naturel n correspond au degré).
Multivariate kernel density estimationKernel density estimation is a nonparametric technique for density estimation i.e., estimation of probability density functions, which is one of the fundamental questions in statistics. It can be viewed as a generalisation of histogram density estimation with improved statistical properties. Apart from histograms, other types of density estimators include parametric, spline, wavelet and Fourier series. Kernel density estimators were first introduced in the scientific literature for univariate data in the 1950s and 1960s and subsequently have been widely adopted.
Statistical parameterIn statistics, as opposed to its general use in mathematics, a parameter is any measured quantity of a statistical population that summarises or describes an aspect of the population, such as a mean or a standard deviation. If a population exactly follows a known and defined distribution, for example the normal distribution, then a small set of parameters can be measured which completely describes the population, and can be considered to define a probability distribution for the purposes of extracting samples from this population.
Moindres carrés non linéairesLes moindres carrés non linéaires est une forme des moindres carrés adaptée pour l'estimation d'un modèle non linéaire en n paramètres à partir de m observations (m > n). Une façon d'estimer ce genre de problème est de considérer des itérations successives se basant sur une version linéarisée du modèle initial. Méthode des moindres carrés Considérons un jeu de m couples d'observations, (x, y), (x, y),...,(x, y), et une fonction de régression du type y = f (x, β).
