Séance de cours

Deep Learning : théorie et pratique

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours du professeur Volkan Cevher explore les mathématiques derrière lapprentissage profond, en se concentrant sur le compromis entre la complexité du modèle et le risque attendu. Il explore le mystère de la généralisation dans l’apprentissage profond, en discutant du biais implicite des algorithmes d’optimisation et du compromis complexité / risque dans la pratique. À travers des exemples et des théorèmes, la séance de cours met en évidence comment différents algorithmes convergent vers des solutions et les implications de la régularisation implicite dans la régression linéaire et les modèles linéaires.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Proximité ontologique

Statistique

Analyse des données: Régression (statistiques)

Concepts associés (32)

Modèle linéaire

vignette|Données aléatoires sous forme de points, et leur régression linéaire. Un modèle linéaire multivarié est un modèle statistique dans lequel on cherche à exprimer une variable aléatoire à expliquer en fonction de variables explicatives X sous forme d'un opérateur linéaire. Le modèle linéaire est donné selon la formule : où Y est une matrice d'observations multivariées, X est une matrice de variables explicatives, B est une matrice de paramètres inconnus à estimer et U est une matrice contenant des erreurs ou du bruit.

Modèle linéaire

Machine à vecteurs de support

Les machines à vecteurs de support ou séparateurs à vaste marge (en anglais support-vector machine, SVM) sont un ensemble de techniques d'apprentissage supervisé destinées à résoudre des problèmes de discrimination et de régression. Les SVM sont une généralisation des classifieurs linéaires. Les séparateurs à vaste marge ont été développés dans les années 1990 à partir des considérations théoriques de Vladimir Vapnik sur le développement d'une théorie statistique de l'apprentissage : la théorie de Vapnik-Tchervonenkis.

Bayesian linear regression

Bayesian linear regression is a type of conditional modeling in which the mean of one variable is described by a linear combination of other variables, with the goal of obtaining the posterior probability of the regression coefficients (as well as other parameters describing the distribution of the regressand) and ultimately allowing the out-of-sample prediction of the regressand (often labelled ) conditional on observed values of the regressors (usually ).

Modèle linéaire généralisé

En statistiques, le modèle linéaire généralisé (MLG) souvent connu sous les initiales anglaises GLM est une généralisation souple de la régression linéaire. Le GLM généralise la régression linéaire en permettant au modèle linéaire d'être relié à la variable réponse via une fonction lien et en autorisant l'amplitude de la variance de chaque mesure d'être une fonction de sa valeur prévue, en fonction de la loi choisie.

Afficher plus

Séances de cours associées (64)

Apprentissage supervisé : Régression linéaire

Couvre l'apprentissage supervisé en mettant l'accent sur la régression linéaire, y compris des sujets comme la classification numérique, la détection des pourriels et la prédiction de la vitesse du vent.

Modèles linéaires : suite

Explore les modèles linéaires, la régression logistique, la descente en gradient et la régression logistique multi-classes avec des applications pratiques et des exemples.

La généralisation dans l'apprentissage profond

Explore la généralisation dans l'apprentissage profond, couvrant la complexité du modèle, le biais implicite, et le phénomène de double descente.

Algorithmes ML non linéaires

Introduit des algorithmes ML non linéaires, couvrant le voisin le plus proche, k-NN, ajustement des courbes polynômes, complexité du modèle, surajustement, et régularisation.

Descente progressive et régression linéaire

Couvre la descente du gradient stochastique, la régression linéaire, la régularisation, l'apprentissage supervisé et la nature itérative de la descente du gradient.

Afficher plus

Concepts associés (32)

Modèle linéaire

Machine à vecteurs de support

Bayesian linear regression

Modèle linéaire généralisé

Afficher plus