Séance de cours

Réseaux neuronaux : formation et optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours explore les subtilités des réseaux neuronaux, en se concentrant sur leur formation et leur optimisation. L'instructeur couvre des sujets tels que les passes avant et arrière, la descente de gradient stochastique et la descente de gradient stochastique mini-lot. La séance de cours aborde également les défis de la formation des réseaux neuronaux, y compris la nature non convexe de la fonction de perte et la présence de minima locaux. Des aspects pratiques tels que l'utilisation de Google Colab pour un calcul plus rapide et les implications environnementales de la formation des réseaux neuronaux sont également discutés.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Neural network software

Neural network software is used to simulate, research, develop, and apply artificial neural networks, software concepts adapted from biological neural networks, and in some cases, a wider array of adaptive systems such as artificial intelligence and machine learning. Neural network simulators are software applications that are used to simulate the behavior of artificial or biological neural networks. They focus on one or a limited number of specific types of neural networks.

Redresseur (réseaux neuronaux)

vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Afficher plus

Séances de cours associées (64)

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Les principes fondamentaux de l'apprentissage profond

Introduit un apprentissage profond, de la régression logistique aux réseaux neuraux, soulignant la nécessité de traiter des données non linéairement séparables.

Deep Learning

Couvre les bases de l'apprentissage profond, y compris les représentations de données, le sac de mots, le prétraitement des données, les réseaux de neurones artificiels et les réseaux de neurones convolutifs.

Les principes fondamentaux de l'apprentissage profond

Introduit des fondamentaux d'apprentissage profond, couvrant les représentations de données, les réseaux neuronaux et les réseaux neuronaux convolutionnels.

Deep Learning: Représentations de données et réseaux neuraux

Couvre les représentations de données, le sac de mots, les histogrammes, le prétraitement des données et les réseaux neuronaux.

Afficher plus

Concepts associés (32)

Algorithme du gradient stochastique

Réseau de neurones récurrents

Neural network software

Redresseur (réseaux neuronaux)

Réseau neuronal convolutif

Afficher plus