Comprendre la dynamique d'apprentissage des réseaux neuraux

Cette séance de cours s'inscrit dans la dynamique d'apprentissage des réseaux neuronaux, explorant des sujets tels que l'optimisation, l'interférence pendant l'apprentissage et l'apprentissage continu. Il traite des défis de l'attribution de crédit, de la plasticité et de l'efficacité des récurrences linéaires. L'instructeur présente des idées sur la prévention des gradients d'explosion et de disparition, les avantages des récurrences linéaires et l'efficacité des différents modèles dans diverses tâches.