Séance de cours

Comprendre la dynamique d'apprentissage des réseaux neuraux

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours s'inscrit dans la dynamique d'apprentissage des réseaux neuronaux, explorant des sujets tels que l'optimisation, l'interférence pendant l'apprentissage et l'apprentissage continu. Il traite des défis de l'attribution de crédit, de la plasticité et de l'efficacité des récurrences linéaires. L'instructeur présente des idées sur la prévention des gradients d'explosion et de disparition, les avantages des récurrences linéaires et l'efficacité des différents modèles dans diverses tâches.

Source officielle

Concepts associés (32)

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Neural network

A neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Plasticité synaptique

La plasticité synaptique, en neurosciences, désigne la capacité des synapses à moduler, à la suite d'un événement particulier - une augmentation ou une diminution ponctuelle et significative de leur activité - l'efficacité de la transmission du signal électrique d'un neurone à l'autre et à conserver, à plus ou moins long terme, une "trace" de cette modulation. De manière schématique, l'efficacité de la transmission synaptique, voire la synapse elle-même, est maintenue et modulée par l'usage qui en est fait.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Afficher plus

Séances de cours associées (64)

Réseaux neuronaux : formation et optimisation

Explore la formation et l'optimisation des réseaux neuronaux, en abordant des défis tels que les fonctions de perte non convexes et les minima locaux.

Réseaux neuronaux multicouches: Deep Learning

Couvre les fondamentaux des réseaux neuronaux multicouches et de l'apprentissage profond.

Le paysage d'optimisation de Convex caché des réseaux neuronaux profonds

Explore le paysage d'optimisation convexe caché des réseaux neuronaux profonds, montrant la transition des modèles non convexes aux modèles convexes.

Détection de détresse de chaussée

Couvre l'importance de la maintenance préventive pour la détection de la détresse de la chaussée et introduit des concepts d'apprentissage automatique pour les ingénieurs.

Réseaux neuronaux : Réseaux neuronaux profonds

Explore les bases des réseaux neuraux, en mettant l'accent sur les réseaux neuraux profonds, leur architecture et leur formation.

Afficher plus

Concepts associés (32)

Réseau de neurones récurrents

Neural network

Réseau de neurones artificiels

Plasticité synaptique

Types of artificial neural networks

Afficher plus