Réseaux neuronaux profonds : formation et optimisation

Cette séance de cours couvre la formation des réseaux neuronaux profonds, en se concentrant sur la descente de gradient stochastique, le traitement mini-lot et les techniques de normalisation. Il discute également des stratégies pour prévenir le suréquipement, comme le décrochage scolaire et la régularisation L1/L2. En outre, il explore les défis des gradients de fuite et introduit des réseaux résiduels. La présentation se termine par un aperçu de l'apprentissage Hebbian, des réseaux neuronaux récurrents et de différents types d'architectures de réseaux neuronaux.