Séance de cours

Réseaux neuronaux profonds : formation et optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MICRO-455: Machine learning I

Real-world engineering applications must cope with a large dataset of dynamic variables, which cannot be well approximated by classical or deterministic models. This course gives an overview of methods from Machine Learning for the analysis of non-linear, highly noisy and multi dimensional data

Description

Cette séance de cours couvre la formation des réseaux neuronaux profonds, en se concentrant sur la descente de gradient stochastique, le traitement mini-lot et les techniques de normalisation. Il discute également des stratégies pour prévenir le suréquipement, comme le décrochage scolaire et la régularisation L1/L2. En outre, il explore les défis des gradients de fuite et introduit des réseaux résiduels. La présentation se termine par un aperçu de l'apprentissage Hebbian, des réseaux neuronaux récurrents et de différents types d'architectures de réseaux neuronaux.

Enseignant·e

Aude Billard

Expertise Machine LearningRoboticsMechatronicsDynamical SystemsComputational Neuroscience Enseignement et PhD Doctorant·es actuel·les Hanli Zhang, Maximilian Schmitz, Luyin Hu, Baiyu Peng, Erfan Etesami, Sthithpragya Gupta, Kuanqi Cai A dirigé les thèses EPFL de Eric Sauser, Sylvain Calinon, Micha Hersch, Florent Günter, Biljana Petreska von Ritter-Zahony, Basilio Noris, Elena Gribovskaya, Seyed Mohammad Khansari Zadeh, Seungsu Kim, Ashwini Shukla, Klas Jonas Alfred Kronander, Luka Lukic, Miao Li, Ravin L

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (31)

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Optical neural network

An optical neural network is a physical implementation of an artificial neural network with optical components. Early optical neural networks used a photorefractive Volume hologram to interconnect arrays of input neurons to arrays of output with synaptic weights in proportion to the multiplexed hologram's strength. Volume holograms were further multiplexed using spectral hole burning to add one dimension of wavelength to space to achieve four dimensional interconnects of two dimensional arrays of neural inputs and outputs.

Physical neural network

A physical neural network is a type of artificial neural network in which an electrically adjustable material is used to emulate the function of a neural synapse or a higher-order (dendritic) neuron model. "Physical" neural network is used to emphasize the reliance on physical hardware used to emulate neurons as opposed to software-based approaches. More generally the term is applicable to other artificial neural networks in which a memristor or other electrically adjustable resistance material is used to emulate a neural synapse.

Règle de Hebb

La règle de Hebb, théorie de Hebb, postulat de Hebb ou théorie des assemblées de neurones a été établie par Donald Hebb en 1949. Elle est à la fois utilisée comme hypothèse en neurosciences et comme concept dans les réseaux neuronaux en mathématiques. En 1950, un manuscrit de Sigmund Freud datant de 1895 fut publié qui attestait que cette théorie avait déjà été formulée avant Hebb. Cette théorie est souvent résumée par la formule : () C'est une règle d'apprentissage des réseaux de neurones artificiels dans le contexte de l'étude d'assemblées de neurones.

Afficher plus

Séances de cours associées (64)

Deep Learning: Représentations de données et réseaux neuraux

Couvre les représentations de données, le sac de mots, les histogrammes, le prétraitement des données et les réseaux neuronaux.

Les principes fondamentaux de l'apprentissage profond

Introduit des fondamentaux d'apprentissage profond, couvrant les représentations de données, les réseaux neuronaux et les réseaux neuronaux convolutionnels.

Deep Learning

Couvre les bases de l'apprentissage profond, y compris les représentations de données, le sac de mots, le prétraitement des données, les réseaux de neurones artificiels et les réseaux de neurones convolutifs.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Deep Learning : réseaux neuronaux convolutifs

Présente les réseaux neuronaux convolutifs, en expliquant leur architecture, leur processus de formation et leurs applications dans les tâches de segmentation sémantique.

Afficher plus

Concepts associés (31)

Réseau de neurones artificiels

Types of artificial neural networks

Optical neural network

Physical neural network

Règle de Hebb

Afficher plus