Séance de cours

Réseaux polynômes : Analyse des partialités spectrales

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours explore le biais spectral des réseaux neuronaux polynômes, en se concentrant sur l'analyse des réseaux polynômes (PN) avec des couches multiplicatives. Il s'inscrit dans les aspects théoriques de la partialité spectrale des réseaux neuraux, de la perspective NTK et des implications sur l'apprentissage des différentes fréquences. La séance de cours couvre également la configuration expérimentale, les résultats et les orientations futures de la recherche.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Réseau de neurones artificiels

Concepts associés (32)

Astuce du noyau

En apprentissage automatique, l'astuce du noyau, ou kernel trick en anglais, est une méthode qui permet d'utiliser un classifieur linéaire pour résoudre un problème non linéaire. L'idée est de transformer l'espace de représentation des données d'entrées en un espace de plus grande dimension, où un classifieur linéaire peut être utilisé et obtenir de bonnes performances. La discrimination linéaire dans l'espace de grande dimension (appelé aussi espace de redescription) est équivalente à une discrimination non linéaire dans l'espace d'origine.

Adversarial machine learning

Adversarial machine learning is the study of the attacks on machine learning algorithms, and of the defenses against such attacks. A survey from May 2020 exposes the fact that practitioners report a dire need for better protecting machine learning systems in industrial applications. To understand, note that most machine learning techniques are mostly designed to work on specific problem sets, under the assumption that the training and test data are generated from the same statistical distribution (IID).

Kernel regression

In statistics, kernel regression is a non-parametric technique to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y. In any nonparametric regression, the conditional expectation of a variable relative to a variable may be written: where is an unknown function. Nadaraya and Watson, both in 1964, proposed to estimate as a locally weighted average, using a kernel as a weighting function.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Regularized least squares

Regularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.

Afficher plus

Séances de cours associées (64)

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Réseaux neuronaux : formation et activation

Explore les réseaux neuronaux, les fonctions d'activation, la rétropropagation et l'implémentation de PyTorch.

Le paysage d'optimisation de Convex caché des réseaux neuronaux profonds

Explore le paysage d'optimisation convexe caché des réseaux neuronaux profonds, montrant la transition des modèles non convexes aux modèles convexes.

Deep Learning : réseaux neuronaux convolutifs

Couvre les réseaux neuronaux convolutifs, les architectures standard, les techniques de formation et les exemples contradictoires en apprentissage profond.

Réseaux neuronaux : Perceptrons multicouches

Couvre les Perceptrons multicouches, les neurones artificiels, les fonctions d'activation, la notation matricielle, la flexibilité, la régularisation, la régression et les tâches de classification.

Afficher plus

Concepts associés (32)

Astuce du noyau

Adversarial machine learning

Kernel regression

Apprentissage de représentations

Regularized least squares

Afficher plus