Compréhension de la généralisation : partialité implicite et optimisation

Cette séance de cours se penche sur le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, montrant comment l'erreur de test diminue avec la complexité croissante des modèles. Il explore les avantages de la surparamétrisation, le biais implicite des algorithmes d'optimisation et le concept de régularisation implicite. La discussion s'étend à la stabilité des algorithmes d'optimisation, au phénomène de double descente et à la probabilité d'interpolation dans les ensembles de données à haute dimension.