Séances de cours associées à La généralisation dans l'apprentissage profond

Conclusions sur la théorie de l'apprentissage statistique

Explore les conclusions de la théorie de l'apprentissage statistique, en mettant l'accent sur la complexité des fonctions, la généralisation et le compromis biais-variance.

Réseaux neuronaux : apprentissage multicouche

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond, y compris la propagation arrière et les architectures réseau comme LeNet, AlexNet et VGG-16.

Paradigme d'apprentissage profond

Explore le paradigme de l'apprentissage profond, y compris les défis, les réseaux neuronaux, la robustesse, l'équité, l'interprétabilité et l'efficacité énergétique.

Réseaux de neurones : régularisation et optimisation

Explore la régularisation, l'optimisation et les conseils pratiques de mise en œuvre des réseaux neuronaux.

Machine Learning for Solving PDEs: Méthode de caractéristiques aléatoires

Explore la méthode de fonction aléatoire pour résoudre les PDE à l'aide d'algorithmes d'apprentissage automatique pour approximer efficacement les fonctions à haute dimension.

Apprentissage Bio-Inspiré: Réseaux Neuraux, Algorithmes Génétiques

Explore l'apprentissage bio-inspiré avec des réseaux neuronaux et des algorithmes génétiques, couvrant la structure, la formation et les applications pratiques.

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Deep Learning: Surparamétrie et généralisation

Explore la surparamétrie, la généralisation, le surajustement, le sous-ajustement et la régularisation implicite dans les modèles d'apprentissage profond.

Algorithmes gradués dans l'apprentissage à haute dimension

Fournit des informations sur les algorithmes basés sur les gradients, les mystères d'apprentissage profond, et les défis des problèmes non convexes.

Comprendre l'apprentissage automatique : des modèles parfaitement solubles

Explore la mécanique statistique de l'apprentissage, en mettant l'accent sur les mystères des réseaux neuronaux et les défis informatiques.

Mathématiques des données : de la théorie au calcul

Couvre les concepts clés en mathématiques des données, y compris la différenciation automatique, les couches linéaires et les couches d'attention.

Réduction des écarts dans l'apprentissage profond

Explore les techniques de réduction de la variance dans l'apprentissage profond, couvrant la descente en gradient, la descente en gradient stochastique, la méthode SVRG, et la comparaison des performances des algorithmes.

Deep Learning : Perceptron multicouche et formation

Couvre les fondamentaux de l'apprentissage profond, en se concentrant sur les perceptrons multicouches et leurs processus de formation.

Apprentissage profond pour les véhicules autonomes: Apprentissage

Explore l'apprentissage en apprentissage profond pour les véhicules autonomes, couvrant les modèles prédictifs, RNN, ImageNet, et l'apprentissage de transfert.

Résoudre les jeux de parité dans la pratique

Explore les aspects pratiques de la résolution des jeux de parité, y compris les stratégies gagnantes, les algorithmes, la complexité, le déterminisme et les approches heuristiques.

Intégration numérique

Explore l'intégration numérique, les propriétés des intégrales, les formules composites et l'estimation des erreurs.

Validation croisée et régularisation

Explore l'ajustement de la courbe polynomiale, les fonctions du noyau et les techniques de régularisation, en soulignant l'importance de la complexité du modèle et du surajustement.

Deep Learning: Représentations de données et réseaux neuraux

Explore les représentations de données, les histogrammes, les réseaux neuronaux et les concepts d'apprentissage profond.

Méthodes d'optimisation: convergence et compromis

Couvre les méthodes d'optimisation, les garanties de convergence, les compromis et les techniques de réduction de la variance en optimisation numérique.

Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.

La généralisation dans l'apprentissage profond

Chattez avec Graph Search