Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Pertes contrastives : Word2Vec et Skip-gram

Description

Cette séance de cours introduit des pertes contrastantes pour l'apprentissage de la représentation, en mettant l'accent sur les modèles Word2Vec et Skip-gram. Il couvre les objectifs de formation, les fenêtres contextuelles, l'échantillonnage négatif et l'estimation du bruit contrastif. La séance de cours explore également InfoNCE/CPC et ses applications dans les données d'images et de graphiques, ainsi que des sujets connexes comme l'apprentissage métrique profond et les modèles basés sur l'énergie.

Source officielle

Concepts associés (32)

Apprentissage automatique

L'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Apprentissage auto-supervisé

L'apprentissage auto-supervisé ("self-supervised learning" en anglais) (SSL) est une méthode d'apprentissage automatique. Il apprend à partir d'échantillons de données non étiquetés. Il peut être considéré comme une forme intermédiaire entre l'apprentissage supervisé et non supervisé. Il est basé sur un réseau de neurones artificiels. Le réseau de neurones apprend en deux étapes. Tout d'abord, la tâche est résolue sur la base de pseudo-étiquettes qui aident à initialiser les poids du réseau.

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Apprentissage profond

L'apprentissage profond ou apprentissage en profondeur (en anglais : deep learning, deep structured learning, hierarchical learning) est un sous-domaine de l’intelligence artificielle qui utilise des réseaux neuronaux pour résoudre des tâches complexes grâce à des architectures articulées de différentes transformations non linéaires. Ces techniques ont permis des progrès importants et rapides dans les domaines de l'analyse du signal sonore ou visuel et notamment de la reconnaissance faciale, de la reconnaissance vocale, de la vision par ordinateur, du traitement automatisé du langage.

Afficher plus

Séances de cours associées (30)

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Apprentissage autosupervisé pour les véhicules autonomes

Explore l'apprentissage autosupervisé pour les véhicules autonomes, en dérivant des étiquettes de données elles-mêmes et en discutant de ses applications et de ses défis.

Intégrations de mots neuronaux: Représentations d'apprentissage pour le langage naturel

Couvre les incorporations de mots neuronaux et les méthodes d'apprentissage des représentations de mots dans le traitement du langage naturel.

Deep Learning Modus Operandi

Explore les avantages des réseaux plus profonds dans l'apprentissage profond et l'importance de la surparamétrie et de la généralisation.

Apprentissage sans supervision : regroupement

Explore l'apprentissage non supervisé par des techniques de regroupement, des algorithmes, des applications et des défis dans divers domaines.

Afficher plus

Concepts associés (32)

Apprentissage automatique

Apprentissage de représentations

Apprentissage auto-supervisé

Word2vec

Apprentissage profond

Afficher plus