Algorithmes gradués dans l'apprentissage à haute dimension

Cette séance de cours de l'instructeur fournit des informations sur les algorithmes basés sur les gradients dans l'apprentissage non convexe à haute dimension, en mettant l'accent sur l'apprentissage supervisé, les réseaux neuronaux et la descente stochastique des gradients. Il traite des défis des problèmes non convexes, du noyau de l'apprentissage automatique et des mystères de la théorie de l'apprentissage profond. La séance de cours explore les concepts de surajustement, de sous-ajustement et de phénomène de double-descent, éclairant les capacités de généralisation des réseaux neuronaux modernes. Il se penche également sur la compréhension de la descente par gradient et sur l'importance des modèles sans hypothèse dans l'analyse des données. L'exposé présente des modèles de jouets comme le modèle matriciel-tenseur et discute de la dynamique de l'apprentissage profond, soulignant la nécessité de repenser la généralisation et le rôle de la descente en gradient.