Séance de cours

Traitement de texte : Analyse de grandes collections de texte numérique

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

DH-405: Foundations of digital humanities

This course introduces the core concepts and methodologies of Digital Humanities, integrating both theoretical and practical perspectives. Students learn to work with large-scale cultural datasets, acquiring the tools and techniques required for their proc ...

Description

Cette séance de cours explore le traitement de grandes collections de textes numériques dans le domaine des humanités numériques. Il couvre l'extraction de régularités et de structures cachées à partir d'objets textuels massifs, la distinction entre l'informatique humaine et la linguistique computationnelle, les défis posés par de très grands objets textuels et l'utilisation de pipelines de traitement de texte. La séance de cours explore l'importance de projets tels que le projet Gutenberg et Wikisource, le concept de réutilisation du texte et l'application de TF-IDF, l'analyse sémantique latente et la modélisation des sujets dans l'analyse des données textuelles.

Enseignant·e

Frédéric Kaplan

Courte biographie Le professeur Frédéric Kaplan dirige le Collège des Humanités de à l'école polytechnique fédérale de Lausanne (EPFL). Il est également titulaire de la chaire de Digital Humanities (humanités digitales / humanités numériques) et président de la Time Machine Organisation, une entité à but non lucratif regroupant plus de 600 institutions. Il est l'auteur d'une dizaine de livres, traduits en plusieurs langues, et de plus d'une centaine de publications scientifiques. Ses travaux ont également

Source officielle

Proximité ontologique

Information engineering

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (25)

Plongement lexical

Le plongement lexical (« word embedding » en anglais) est une méthode d'apprentissage d'une représentation de mots utilisée notamment en traitement automatique des langues. Le terme devrait plutôt être rendu par vectorisation de mots pour correspondre plus proprement à cette méthode. Cette technique permet de représenter chaque mot d'un dictionnaire par un vecteur de nombres réels. Cette nouvelle représentation a ceci de particulier que les mots apparaissant dans des contextes similaires possèdent des vecteurs correspondants qui sont relativement proches.

Linguistique

La linguistique est une discipline scientifique s’intéressant à l’étude du langage. Elle n'est pas prescriptive mais descriptive. La prescription correspond à la norme, c'est-à-dire ce qui est jugé correct linguistiquement par les grammairiens. À l'inverse, la linguistique se contente de décrire la langue telle qu'elle est et non telle qu'elle devrait être. On trouve des témoignages de réflexions sur le langage dès l'Antiquité avec des philosophes comme Platon.

Word2vec

En intelligence artificielle et en apprentissage machine, Word2vec est un groupe de modèles utilisé pour le plongement lexical (word embedding). Ces modèles ont été développés par une équipe de recherche chez Google sous la direction de . Ce sont des réseaux de neurones artificiels à deux couches entraînés pour reconstruire le contexte linguistique des mots. La méthode est implémentée dans la bibliothèque Python Gensim. Deux architectures ont été initialement proposées pour apprendre les Word2vec, le modèle de sacs de mots continus (CBOW: continuous bag of words) et le modèle skip-gram.

Recherche plein texte

La recherche (en) plein texte (appelée aussi recherche en texte intégral ou recherche de texte libre) est une technique de recherche dans un document électronique ou une base de données textuelles, qui consiste pour le moteur de recherche à examiner tous les mots de chaque document enregistré et à essayer de les faire correspondre à ceux fournis par l'utilisateur. Les techniques de recherche sont devenues fréquentes dans les bases de données bibliographiques en ligne dans les années 1970.

Projet Gutenberg

Le projet Gutenberg est une bibliothèque de versions électroniques libres (parfois appelés ou e-content) de livres physiquement existants. Les textes fournis sont essentiellement du domaine public, soit parce qu'ils n'ont jamais été sujets à des droits d'auteur, soit parce que ces derniers sont expirés. Il contient toutefois quelques textes toujours sous droit d'auteur, qui sont rendus disponibles pour le projet avec la permission de l'auteur. Le projet fut lancé par Michael Hart en 1971 et nommé en hommage à l'imprimeur allemand du Johannes Gutenberg.

Afficher plus

Séances de cours associées (34)

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Sémantique spatiale vectorielle (et récupération d'information)

Explore le modèle Vector Space, le sac de mots, tf-idf, cosine similarité, Okapi BM25, et la précision et le rappel dans la récupération d'information.

Deep Learning pour le NLP Connectez-vous à Mediaspace pour regarder cette vidéo

Introduit des concepts d'apprentissage profond pour les NLP, couvrant l'intégration de mots, les RNN et les Transformateurs, mettant l'accent sur l'auto-attention et l'attention multi-têtes.

Texte de manipulation : Récupération de documents, classification, analyse des sentiments

Explore la recherche de documents, la classification, l'analyse des sentiments, les matrices TF-IDF, les méthodes de voisinage les plus proches, la factorisation matricielle, la régularisation, LDA, les vecteurs de mots contextualisés et BERT.

Recherche et classification de documents

Couvre la récupération de documents, la classification, l'analyse des sentiments et la détection de sujets à l'aide de matrices TF-IDF et de vecteurs de mots contextualisés tels que BERT.

Afficher plus

Concepts associés (25)

Plongement lexical

Linguistique

Word2vec

Recherche plein texte

Projet Gutenberg

Afficher plus