Publication

The Unstoppable Rise of Computational Linguistics in Deep Learning

Mark Henderson
2020
Conference Papers

Résumé

In this paper, we trace the history of neural networks applied to natural language understanding tasks, and identify key contributions which the nature of language has made to the development of neural network architectures. We focus on the importance of variable binding and its instantiation in attention-based models, and argue that Transformer is not a sequence model but an induced-structure model. This perspective leads to predictions of the challenges facing research in deep learning architectures for natural language understanding.

Source officielle

https://infoscience.epfl.ch/entities/publication/028496b7-f23e-46b0-8c80-e0b971844b8d

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

The Unstoppable Rise of Computational Linguistics in Deep Learning

Chattez avec Graph Search

Application of Deep Learning and Geospatial Analysis in Soil Loss Risk in the Moulouya Watershed, Morocco

Machine learning-enabled estimation of cardiac output from peripheral waveforms is independent of blood pressure measurement location in an in silico population

Retrieval of Surface Solar Radiation through Implicit Albedo Recovery from Temporal Context