Publication

Supplementary Material - AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks

Sabine Süsstrunk
2020
Working Papers

Résumé

In this supplementary material, we present the details of the neural network architecture and training settings used in all our experiments. This holds for all experiments presented in the main paper as well as in this supplementary material. We also show the summary results of all of our 96 experiments (test accuracy, training cross-entropy loss, and regularization loss), sampled at 100 epoch intervals. We analyze these results for each of the benchmark datasets, namely MNIST, Fashion-MNIST and CIFAR10, and underline global observations we make throughout the entire experiment set.

Source officielle

https://infoscience.epfl.ch/entities/publication/ad113ad4-34da-4b7b-88fd-34f3e6cfc5a3

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Sabine Süsstrunk
2020
Working Papers

Résumé

Source officielle

https://infoscience.epfl.ch/entities/publication/ad113ad4-34da-4b7b-88fd-34f3e6cfc5a3

À propos de ce résultat

Concepts associés (32)

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Réseau neuronal convolutif

En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.

Types of artificial neural networks

There are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.

Afficher plus

Publications associées (32)

Afficher plus

Supplementary Material - AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks

Chattez avec Graph Search

Roadmap on Deep Learning for Microscopy

Towards a Theoretical Understanding of Efficiency and Bias in Deep Neural Networks

Streamlined optical training of large-scale modern deep learning architectures with direct feedback alignment