Publication

From Information Inequalities to Computational Lower Bounds in Learning

Emmanuel Abbé
2020

Résumé

This talk shows how computational lower bounds in learning, which allow to show failure at learning certain function classes due to computational constraints, can be derived using information-theoretic arguments and inequalities. In particular, it is shown that GDbased deep learning cannot learn with polynomial parameters certain function classes that can be learned efficiently with other non-GD based algorithms. Joint work with C. Sandon (MIT).

Source officielle

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Emmanuel Abbé
2020

Résumé

Source officielle

Concepts associés (26)

Hypothèse calculatoire

En cryptographie, une hypothèse de difficulté calculatoire est une hypothèse qui sert à évaluer et à démontrer la robustesse des primitives cryptographiques. Dans certains cas, la sécurité est dite inconditionnelle si elle ne repose sur aucune hypothèse de difficulté calculatoire ; un exemple courant est la technique dite du masque jetable, où le masque est aussi grand que le message. Cependant, il est souvent impossible d'atteindre une forme de sécurité aussi forte ; dans de tels cas, les cryptographes doivent s'en remettre à une forme de sécurité dite « calculatoire ».

Sciences numériques

Les sciences numériques (traduction de l'anglais computational sciences), autrement dénommées calcul scientifique ou informatique scientifique, ont pour objet la construction de modèles mathématiques et de méthodes d'analyse quantitative, en se basant sur l'utilisation des sciences du numérique, pour analyser et résoudre des problèmes scientifiques. Cette approche scientifique basée sur un recours massif aux modélisations informatiques et mathématiques et à la simulation se décline en : médecine numérique, biologie numérique, archéologie numérique, mécanique numérique, par exemple.

Romanovski polynomials

In mathematics, the Romanovski polynomials are one of three finite subsets of real orthogonal polynomials discovered by Vsevolod Romanovsky (Romanovski in French transcription) within the context of probability distribution functions in statistics. They form an orthogonal subset of a more general family of little-known Routh polynomials introduced by Edward John Routh in 1884. The term Romanovski polynomials was put forward by Raposo, with reference to the so-called 'pseudo-Jacobi polynomials in Lesky's classification scheme.

Afficher plus

Publications associées (5)

Afficher plus

From Information Inequalities to Computational Lower Bounds in Learning

Chattez avec Graph Search

Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

Average-Case Hardness of Binary-Encoded Clique in Proof and Communication Complexity

Learning efficient representations of complex constraints for scalable optimization