Séance de cours

Pertes contrastives : Word2Vec et Skip-gram

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours introduit des pertes contrastantes pour l'apprentissage de la représentation, en mettant l'accent sur les modèles Word2Vec et Skip-gram. Il couvre les objectifs de formation, les fenêtres contextuelles, l'échantillonnage négatif et l'estimation du bruit contrastif. La séance de cours explore également InfoNCE/CPC et ses applications dans les données d'images et de graphiques, ainsi que des sujets connexes comme l'apprentissage métrique profond et les modèles basés sur l'énergie.

Source officielle

Concepts associés (32)

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Apprentissage automatique

L'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.

Apprentissage auto-supervisé

L'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.

Apprentissage non supervisé

Dans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite.

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Afficher plus

Séances de cours associées (64)

Apprentissage autosupervisé pour les véhicules autonomes

Explore l'apprentissage autosupervisé pour les véhicules autonomes, en dérivant des étiquettes de données elles-mêmes et en discutant de ses applications et de ses défis.

Fondements de l'apprentissage automatique

Introduit des concepts fondamentaux d'apprentissage automatique, couvrant la régression, la classification, la réduction de dimensionnalité et des modèles générateurs profonds.

Deep Learning Modus Operandi

Explore les avantages des réseaux plus profonds dans l'apprentissage profond et l'importance de la surparamétrie et de la généralisation.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Amélioration des modèles du chemin visuel ventral

Explore les modèles de calcul du système visuel ventral, en se concentrant sur l'optimisation des réseaux pour les tâches réelles et la comparaison avec les données cérébrales.

Afficher plus

Concepts associés (32)

Apprentissage de représentations

Apprentissage automatique

Apprentissage auto-supervisé

Apprentissage non supervisé

Word2vec

Afficher plus