Lasso (statistiques)

En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs. La capacité du lasso à sélectionner un sous-ensemble de variables est due à la nature de la contrainte exercée sur les coefficients et peut s'interpréter de manière géométrique, en statistique bayésienne ou analyse convexe. Soit , le vecteur contenant les variables explicatives associées à l'individu , la réponse associée et les coefficients à estimer. Dans le cadre d'un modèle linéaire standard, les coefficients sont obtenus par minimisation de la somme des carrés des résidus. Avec la méthode lasso, le vecteur de coefficients est également obtenu en minimisant la somme des carrés des résidus mais sous une contrainte supplémentaire : Le paramètre contrôle le niveau de régularisation des coefficients estimés. Il s'agit d'une pénalisation de la norme des coefficients . Cette contrainte va contracter la valeur des coefficients (tout comme la régression ridge) mais la forme de la pénalité va permettre à certains coefficients de valoir exactement zéro (à l'inverse de la régression ridge). De plus, dans des cas où le nombre de variables est supérieur au nombre d'individus , le lasso en sélectionnera au plus . On peut écrire aussi la version lagrangienne de ce problème : avec le paramètre de régularisation. Ce paramètre est relié au paramètre par une relation dépendante des données. Soit la matrice contenant en ligne les individus, .