Régularisation (mathématiques)vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.
Problème inversevignette|une somme de plusieurs nombres donne le nombre 27, mais peut-on les deviner à partir de 27 ? En science, un problème inverse est une situation dans laquelle on tente de déterminer les causes d'un phénomène à partir des observations expérimentales de ses effets. Par exemple, en sismologie, la localisation de l'origine d'un tremblement de terre à partir de mesures faites par plusieurs stations sismiques réparties sur la surface du globe terrestre est un problème inverse.
FenêtrageEn traitement du signal, le fenêtrage est utilisé dès que l'on s'intéresse à un signal de longueur volontairement limitée. En effet, un signal réel ne peut qu'avoir une durée limitée dans le temps ; de plus, un calcul ne peut se faire que sur un nombre fini de points. Pour observer un signal sur une durée finie, on le multiplie par une fonction fenêtre d'observation (également appelée fenêtre de pondération ou d'apodisation).
Spline interpolationIn the mathematical field of numerical analysis, spline interpolation is a form of interpolation where the interpolant is a special type of piecewise polynomial called a spline. That is, instead of fitting a single, high-degree polynomial to all of the values at once, spline interpolation fits low-degree polynomials to small subsets of the values, for example, fitting nine cubic polynomials between each of the pairs of ten points, instead of fitting a single degree-ten polynomial to all of them.
Spline cubique d'HermiteOn appelle spline cubique d'Hermite une spline de degré trois, nommée ainsi en hommage à Charles Hermite, permettant de construire un polynôme de degré minimal (le polynôme doit avoir au minimum quatre degrés de liberté et être donc de degré 3) interpolant une fonction en deux points avec ses tangentes. Chaque polynôme se trouve sous la forme suivante : thumb|Les quatre polynômes de base avec ce qui donne le polynôme suivant : Sous cette écriture, il est possible de voir que le polynôme p vérifie : La courbe est déterminée par la position des points et des tangentes.
Sparse dictionary learningSparse dictionary learning (also known as sparse coding or SDL) is a representation learning method which aims at finding a sparse representation of the input data in the form of a linear combination of basic elements as well as those basic elements themselves. These elements are called atoms and they compose a dictionary. Atoms in the dictionary are not required to be orthogonal, and they may be an over-complete spanning set. This problem setup also allows the dimensionality of the signals being represented to be higher than the one of the signals being observed.
Ridge regressionRidge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.
Elastic net regularizationIn statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.
Sparse approximationSparse approximation (also known as sparse representation) theory deals with sparse solutions for systems of linear equations. Techniques for finding these solutions and exploiting them in applications have found wide use in , signal processing, machine learning, medical imaging, and more. Consider a linear system of equations , where is an underdetermined matrix and . The matrix (typically assumed to be full-rank) is referred to as the dictionary, and is a signal of interest.
Interpolation multivariéeEn analyse numérique, linterpolation multivariée ou linterpolation spatiale désigne l'interpolation numérique de fonctions de plus d'une variable. Le problème est similaire à celui de l'interpolation polynomiale sur un intervalle réel : on connait les valeurs d'une fonction à interpoler aux points et l'objectif consiste à évaluer la valeur de la fonction en des points . L'interpolation multivariée est notamment utilisée en géostatistique, où elle est utilisée pour reconstruire les valeurs d'une variable régionalisée sur un domaine à partir d'échantillons connus en un nombre limité de points.
Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Matrice creuseDans la discipline de l'analyse numérique des mathématiques, une matrice creuse est une matrice contenant beaucoup de zéros. Conceptuellement, les matrices creuses correspondent aux systèmes qui sont peu couplés. Si on considère une ligne de balles dont chacune est reliée à ses voisines directes par des élastiques, ce système serait représenté par une matrice creuse. Au contraire, si chaque balle de la ligne est reliée à toutes les autres balles, ce système serait représenté par une matrice dense.
Domaine fréquentielLe domaine fréquentiel se rapporte à l'analyse de fonctions mathématiques ou de signaux physiques manifestant une fréquence. Alors qu'un graphe dans le domaine temporel présentera les variations dans l'allure d'un signal au cours du temps, un graphe dans le domaine fréquentiel montrera quelle proportion du signal appartient à telle ou telle bande de fréquence, parmi plusieurs bancs. Une représentation dans le domaine fréquentiel peut également inclure des informations sur le décalage de phase qui doit être appliqué à chaque sinusoïde afin de reconstruire le signal en domaine temporel.
Transformation de Fourierthumb|Portrait de Joseph Fourier. En mathématiques, plus précisément en analyse, la transformation de Fourier est une extension, pour les fonctions non périodiques, du développement en série de Fourier des fonctions périodiques. La transformation de Fourier associe à toute fonction intégrable définie sur R et à valeurs réelles ou complexes, une autre fonction sur R appelée transformée de Fourier dont la variable indépendante peut s'interpréter en physique comme la fréquence ou la pulsation.
Fourier analysisIn mathematics, Fourier analysis (ˈfʊrieɪ,_-iər) is the study of the way general functions may be represented or approximated by sums of simpler trigonometric functions. Fourier analysis grew from the study of Fourier series, and is named after Joseph Fourier, who showed that representing a function as a sum of trigonometric functions greatly simplifies the study of heat transfer. The subject of Fourier analysis encompasses a vast spectrum of mathematics.
Théorème d'inversion localeEn mathématiques, le théorème d'inversion locale est un résultat de calcul différentiel. Il indique que si une fonction f est continûment différentiable en un point, si sa différentielle en ce point est inversible alors, localement, f est inversible et son inverse est différentiable. Ce théorème est équivalent à celui des fonctions implicites, son usage est largement répandu. On le trouve par exemple utilisé, sous une forme ou une autre, dans certaines démonstrations des propriétés du multiplicateur de Lagrange.
Matching pursuitMatching pursuit (MP) is a sparse approximation algorithm which finds the "best matching" projections of multidimensional data onto the span of an over-complete (i.e., redundant) dictionary . The basic idea is to approximately represent a signal from Hilbert space as a weighted sum of finitely many functions (called atoms) taken from . An approximation with atoms has the form where is the th column of the matrix and is the scalar weighting factor (amplitude) for the atom . Normally, not every atom in will be used in this sum.
Transformation de LaplaceEn mathématiques, la transformation de Laplace est une transformation intégrale qui à une fonction f — définie sur les réels positifs et à valeurs réelles — associe une nouvelle fonction F — définie sur les complexes et à valeurs complexes — dite transformée de Laplace de f. L'intérêt de la transformation de Laplace vient de la conjonction des deux faits suivants : De nombreuses opérations courantes sur la fonction originale f se traduisent par une opération algébrique sur la transformée F.
Méthode de la transformée inverseLa méthode de la transformée inverse est une méthode permettant d'échantillonner une variable aléatoire X de loi donnée à partir de l'expression de sa fonction de répartition F et d'une variable uniforme sur . Cette méthode repose sur le principe suivant, parfois connu sous le nom de théorème de la réciproque : soient F une fonction de répartition, Q la fonction quantile associée, et U une variable uniforme sur . Alors, la variable aléatoire X = Q(U) a pour fonction de répartition F.
Fonction de plusieurs variables complexesLa théorie des fonctions de plusieurs variables complexes est une branche des mathématiques traitant des fonctions à variables complexes. On définit de cette manière une fonction de Cn dans C, dont on peut noter les variables . L'analyse complexe correspond au cas . H. Cartan: Théorie élémentaire des fonctions analytiques d'une ou plusieurs variables complexes. Hermann, Paris, 1961. C. Laurent-Thiébaut : Théorie des fonctions holomorphes de plusieurs variables. EDP Sciences, 1997. V.S.
