Séance de cours

Encodeurs automatiques et NVIB variables

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre le goulot d'étranglement de l'information variétale (NVIB) et les encodeurs automatiques variables (VAE). Il explique l'approche bayésienne des encodeurs automatiques, l'astuce de reparamétérisation et la taxonomie des modèles générateurs. La séance de cours se penche sur l'intractabilité de la probabilité de données dans les EAV, le concept d'inférence variationnelle et l'utilisation d'espaces latents axés sur l'attention dans les Transformateurs. Il traite également de l'importance d'induire des représentations compressées dans les données textuelles et des avantages du NVIB dans la création d'espaces de représentation en douceur. La présentation se termine par un aperçu des raisons pour lesquelles les transformateurs sont des modèles efficaces pour le traitement des langues.

Source officielle

Concepts associés (32)

Inférence bayésienne

vignette|Illustration comparant les approches fréquentiste et bayésienne (Christophe Michel, 2018). L’inférence bayésienne est une méthode d'inférence statistique par laquelle on calcule les probabilités de diverses causes hypothétiques à partir de l'observation d'événements connus. Elle s'appuie principalement sur le théorème de Bayes. Le raisonnement bayésien construit, à partir d'observations, une probabilité de la cause d'un type d'événements.

Inférence statistique

vignette|Illustration des 4 principales étapes de l'inférence statistique L'inférence statistique est l'ensemble des techniques permettant d'induire les caractéristiques d'un groupe général (la population) à partir de celles d'un groupe particulier (l'échantillon), en fournissant une mesure de la certitude de la prédiction : la probabilité d'erreur. Strictement, l'inférence s'applique à l'ensemble des membres (pris comme un tout) de la population représentée par l'échantillon, et non pas à tel ou tel membre particulier de cette population.

Inférence (logique)

L’inférence est un mouvement de la pensée qui permet de passer d'une ou plusieurs assertions, des énoncés ou propositions affirmés comme vrais, appelés prémisses, à une nouvelle assertion qui en est la conclusion. Étymologiquement, le mot inférence signifie « reporter ». En théorie, l'inférence est traditionnellement divisée en déduction et induction, une distinction qui, en Europe, remonte au moins à Aristote ( avant Jésus-Christ). On distingue les inférences immédiates des inférences médiates telles que déductives, inductives et abductives.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Représentation induite d'un groupe fini

En mathématiques une représentation induite est une représentation d'un groupe canoniquement associée à une représentation de l'un de ses sous-groupes. L'induction est adjointe à gauche de la . Cette propriété intervient dans la formule de réciprocité de Frobenius. Cet article traite le cas des groupes finis. Dans tout l'article, G désigne un groupe fini, H un sous-groupe de G et θ une représentation de H dans un espace vectoriel de dimension finie W sur un corps K. G/H désigne l'ensemble des classes à gauche modulo H.

Afficher plus

Séances de cours associées (64)

Modèles génériques : auto-attention et transformateurs

Couvre les modèles générateurs en mettant l'accent sur l'auto-attention et les transformateurs, en discutant des méthodes d'échantillonnage et des moyens empiriques.

Analyse de documents et modélisation de sujets

Couvre l'analyse documentaire, la modélisation thématique et les modèles génératifs profonds, y compris les auto-encodeurs et les GAN.

Modèles de génération profonde

Couvre les modèles générateurs profonds, y compris LDA, auto-encodeurs, GANs et DCGANs.

Modèles de génération profonde: Codeurs automatiques et GANs

Explore les codeurs automatiques et les réseaux d'adversaires génériques pour la modélisation generative profonde.

Modèles de génération profonde

Couvre les modèles génératifs profonds, y compris les auto-encodeurs variationnels, les GAN et les GAN convolutifs profonds.

Afficher plus

Concepts associés (32)

Inférence bayésienne

Inférence statistique

Inférence (logique)

Transformeur

Représentation induite d'un groupe fini

Afficher plus