Séance de cours

Réseaux neuronaux profonds : optimisation et approximation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les techniques d'optimisation et d'approximation dans les réseaux neuronaux profonds, en se concentrant sur des sujets tels que le contrôle optimal, la recherche de modèles et les expériences numériques. Les diapositives traitent de concepts tels que les unités linéaires rectifiées, les variables de jeu et les fonctions linéaires continues par morceaux.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Redresseur (réseaux neuronaux)

vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.

Réseau de neurones à propagation avant

Un réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Afficher plus

Séances de cours associées (43)

Splines et apprentissage automatique

Explore l'apprentissage supervisé comme un problème mal posé et l'intégration de splines adaptatives clairsemées dans les architectures neurales.

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Réseaux d'attractions et neurones à épilation MOOC: Dynamique neuronale 2- Neurosciences computationnelles : Dynamique neuronale de la cognition

Explore les réseaux d'attraction, les neurones piquants, les données de mémoire et les réseaux réalistes dans la dynamique neuronale.

Réseaux neuronaux : Réseau neuronal à deux couches

Couvre les bases des réseaux neuraux, en mettant l'accent sur le développement des réseaux neuraux de deux couches vers les réseaux neuraux profonds.

Connectivité spécifique au type de cellule et connexions au fusil de chasse

Explore la connectivité spécifique de type cellulaire et les connexions de fusil de chasse dans la cartographie des connexions neurales à différentes échelles.

Afficher plus

Concepts associés (32)

Redresseur (réseaux neuronaux)

Réseau de neurones à propagation avant

Apprentissage profond

Réseau neuronal convolutif

Réseau de neurones artificiels

Afficher plus