Séance de cours

Réseaux neuronaux : formation et optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours explore les subtilités des réseaux neuronaux, en se concentrant sur la formation et l'optimisation. L'instructeur couvre des sujets tels que les passes avant et arrière, la descente de gradient stochastique et la descente de gradient stochastique mini-lot. La séance de cours aborde également les défis de la formation des réseaux neuronaux, l'importance des fonctions d'activation et l'utilisation du code Python pour la mise en œuvre des réseaux neuronaux. En outre, l'instructeur donne un aperçu des préoccupations environnementales liées à la consommation d'énergie des réseaux neuronaux de formation. La séance de cours se termine par un bref examen de l'analyse en composantes principales (APC) et du regroupement de K-moyens, mettant en évidence leurs applications dans la réduction de la dimensionnalité et l'apprentissage non supervisé.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

K-moyennes

Le partitionnement en k-moyennes (ou k-means en anglais) est une méthode de partitionnement de données et un problème d'optimisation combinatoire. Étant donnés des points et un entier k, le problème est de diviser les points en k groupes, souvent appelés clusters, de façon à minimiser une certaine fonction. On considère la distance d'un point à la moyenne des points de son cluster ; la fonction à minimiser est la somme des carrés de ces distances.

Apprentissage non supervisé

Dans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite.

Vanishing gradient problem

In machine learning, the vanishing gradient problem is encountered when training artificial neural networks with gradient-based learning methods and backpropagation. In such methods, during each iteration of training each of the neural networks weights receives an update proportional to the partial derivative of the error function with respect to the current weight. The problem is that in some cases, the gradient will be vanishingly small, effectively preventing the weight from changing its value.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Afficher plus

Séances de cours associées (64)

Réseaux neuronaux : apprentissage multicouche

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond, y compris la propagation arrière et les architectures réseau comme LeNet, AlexNet et VGG-16.

Apprentissage sans supervision : regroupement et réduction de dimensionnalité

Introduit l'apprentissage non supervisé en cluster avec les moyennes K et la réduction de dimensionnalité à l'aide de PCA, ainsi que des exemples pratiques.

Perception : Approches fondées sur les données

Explore la perception dans l'apprentissage profond pour les véhicules autonomes, couvrant la classification d'image, les méthodes d'optimisation, et le rôle de la représentation dans l'apprentissage automatique.

Réseaux neuronaux multicouches: Deep Learning

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond.

Apprentissage automatique: Techniques d'apprentissage supervisé et non supervisé

Couvre les techniques d'apprentissage supervisées et non supervisées dans l'apprentissage automatique, en mettant en évidence leurs applications dans la finance et l'analyse environnementale.

Afficher plus

Concepts associés (32)

Algorithme du gradient stochastique

K-moyennes

Apprentissage non supervisé

Vanishing gradient problem

Apprentissage de représentations

Afficher plus