Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Exercice de récupération d'espace vectoriel

Dans cours

CS-423: Distributed information systems

This course introduces the foundations of information retrieval, data mining and knowledge bases, which constitute the foundations of today's Web-based distributed information systems. ...

Description

Cette séance de cours couvre le calcul des valeurs TF-IDF pour les termes dans les documents, la création de vecteurs de documents et le calcul de la similarité cosinus entre les vecteurs. Il explique également le processus d'évaluation de la pertinence des documents récupérés à l'aide de formules de précision.

Enseignant·e

Karl Aberer

Co-Founder of LinkAlong Sarl, 2017.Vice-president EPFL for Information Systems, 2012 –2016.Director of the Swiss National Centre for Mobile Information and Communication Systems NCCR MICS (mics.ch), 2005 -2012.Member of the Swiss Research and Technology Council SWTR, consulting the Swiss Federal government, 2004 - 2011.

Source officielle

Concepts associés (18)

Recherche d'information

La recherche d'information (RI) est le domaine qui étudie la manière de retrouver des informations dans un corpus. Celui-ci est composé de documents d'une ou plusieurs bases de données, qui sont décrits par un contenu ou les métadonnées associées. Les bases de données peuvent être relationnelles ou non structurées, telles celles mises en réseau par des liens hypertexte comme dans le World Wide Web, l'internet et les intranets. Le contenu des documents peut être du texte, des sons, des images ou des données.

TF-IDF

Le TF-IDF (de l'anglais term frequency-inverse document frequency) est une méthode de pondération souvent utilisée en recherche d'information et en particulier dans la fouille de textes. Cette mesure statistique permet d'évaluer l'importance d'un terme contenu dans un document, relativement à une collection ou un corpus. Le poids augmente proportionnellement au nombre d'occurrences du mot dans le document. Il varie également en fonction de la fréquence du mot dans le corpus.

Pertinence d'un document

Une recherche scientifique ne peut avoir cette qualité de « scientifique » qu’après avoir répondu à un ensemble de critères. Parmi ces critères, la pertinence occupe une place primordiale, elle constitue la moelle épinière de toute recherche académique. En effet, c’est le degré de la pertinence qui donne beaucoup de crédibilité à un tel document. Par elle ce dernier aura beaucoup de chance d’être publiée et d’être tenue comme référence scientifique de recherche.

Similarité cosinus

La similarité cosinus donne la similarité de deux vecteurs à n dimensions en déterminant le cosinus de leur angle. Ce score est fréquemment utilisée en fouille de textes. Soit deux vecteurs A et B, le cosinus de leur angle θ s'obtient en prenant leur produit scalaire divisé par le produit de leurs normes : La valeur d'un cosinus, donc celle calculée ici pour cos θ, est comprise dans l'intervalle [-1,1]. La valeur de -1 indique des vecteurs opposés, la valeur de 0 des vecteurs indépendants (orthogonaux) et la valeur de 1 des vecteurs colinéaires de coefficient positif.

Classification et catégorisation de documents

La classification et catégorisation de documents est l'activité du traitement automatique des langues naturelles qui consiste à classer de façon automatique des ressources documentaires, généralement en provenance d'un corpus. Cette classification peut prendre une infinité de formes. On citera ainsi la classification par genre, par thème, ou encore par opinion. La tâche de classification est réalisée avec des algorithmes spécifiques, mis en œuvre par des systèmes de traitement de l'information.

Afficher plus

Séances de cours associées (32)

Données de base sur la récupération de l'information

Présente les bases de la récupération d'informations, couvrant la représentation de documents, l'expansion des requêtes et TF-IDF pour le classement des documents.

Sémantique spatiale vectorielle (et récupération d'information)

Explore le modèle Vector Space, le sac de mots, tf-idf, cosine similarité, Okapi BM25, et la précision et le rappel dans la récupération d'information.

Information Retrieval Basics: Longueur du document et normalisation

Explore la longueur du document, la normalisation, la compensation des biais et l'évaluation du modèle de récupération de l'information.

Recherche et classification de documents

Couvre la récupération de documents, la classification, l'analyse des sentiments et la détection de sujets à l'aide de matrices TF-IDF et de vecteurs de mots contextualisés tels que BERT.

Récupération probabiliste

Couvre la récupération d'informations probabilistes, la pertinence de la modélisation en tant que probabilité, l'expansion des requêtes et la génération automatique de thésaurus.

Afficher plus

Concepts associés (18)

Recherche d'information

TF-IDF

Pertinence d'un document

Similarité cosinus

Classification et catégorisation de documents

Afficher plus