Séance de cours

Récupérer l'information : bases et techniques

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours couvre les principes fondamentaux de la récupération d'informations (IR), y compris le modèle d'espace vectoriel, les termes d'indexation, les schémas de pondération tels que tf.idf et Okapi BM25, la mesure de proximité du cosinus, la représentation des requêtes et l'évaluation des systèmes IR. Il explore les limites du modèle despace vectoriel, de la sémantique de distribution et des modèles avancés. Les sujets clés incluent la tokenisation, le filtrage, le modèle Bag of Words et l'importance d'une bonne indexation pour les performances du système IR.

Cette vidéo est disponible exclusivement sur Mediaspace pour un public restreint. Veuillez vous connecter à Mediaspace pour y accéder si vous disposez des autorisations nécessaires.

Regarder sur Mediaspace

Source officielle

Proximité ontologique

Information engineering

Traitement automatique du langage naturel: Traitement automatique du langage naturel

Concepts associés (32)

Recherche d'information

La recherche d'information (RI) est le domaine qui étudie la manière de retrouver des informations dans un corpus. Celui-ci est composé de documents d'une ou plusieurs bases de données, qui sont décrits par un contenu ou les métadonnées associées. Les bases de données peuvent être relationnelles ou non structurées, telles celles mises en réseau par des liens hypertexte comme dans le World Wide Web, l'internet et les intranets. Le contenu des documents peut être du texte, des sons, des images ou des données.

TF-IDF

Le TF-IDF (de l'anglais term frequency-inverse document frequency) est une méthode de pondération souvent utilisée en recherche d'information et en particulier dans la fouille de textes. Cette mesure statistique permet d'évaluer l'importance d'un terme contenu dans un document, relativement à une collection ou un corpus. Le poids augmente proportionnellement au nombre d'occurrences du mot dans le document. Il varie également en fonction de la fréquence du mot dans le corpus.

Distributional semantics

Distributional semantics is a research area that develops and studies theories and methods for quantifying and categorizing semantic similarities between linguistic items based on their distributional properties in large samples of language data. The basic idea of distributional semantics can be summed up in the so-called distributional hypothesis: linguistic items with similar distributions have similar meanings. The distributional hypothesis in linguistics is derived from the semantic theory of language usage, i.

Sac de mots

La représentation par sac de mots (ou bag of words en anglais) est une description de document (texte, image...) très utilisée en recherche d'information. On considère que le monde peut être décrit au moyen d'un dictionnaire (de « mots »). Dans sa version la plus simple, un document particulier est représenté par l'histogramme des occurrences des mots le composant : pour un document donné, chaque mot se voit affecté le nombre de fois qu'il apparaît dans le document (voir la notion de multi-ensemble, bag en anglais).

Précision et rappel

vignette|350px|Précision et rappel (« recall »). La précision compte la proportion d'items pertinents parmi les items sélectionnés alors que le rappel compte la proportion d'items pertinents sélectionnés parmi tous les items pertinents sélectionnables. Dans les domaines de la reconnaissance de formes, de la recherche d'information et de la classification automatique, la précision (ou valeur prédictive positive) est la proportion des items pertinents parmi l'ensemble des items proposés ; le rappel (ou sensibilité) est la proportion des items pertinents proposés parmi l'ensemble des items pertinents.

Afficher plus

Séances de cours associées (61)

Sémantique spatiale vectorielle (et récupération d'information)

Explore le modèle Vector Space, le sac de mots, tf-idf, cosine similarité, Okapi BM25, et la précision et le rappel dans la récupération d'information.

Données de base sur la récupération de l'information

Présente les bases de la récupération d'informations, couvrant la représentation de documents, l'expansion des requêtes et TF-IDF pour le classement des documents.

Information Retrieval Basics: Longueur du document et normalisation

Explore la longueur du document, la normalisation, la compensation des biais et l'évaluation du modèle de récupération de l'information.

Évaluation de la récupération d'information

Explique l'évaluation des modèles de récupération de l'information, y compris le rappel, la précision, la mesure F et le compromis précision/rappel.

Bases de recherche d'information : Fréquence et précision des documents

Introduit les bases de la recherche de l'information, en mettant l'accent sur la fréquence et la précision des documents dans l'évaluation de la qualité de la recherche.

Afficher plus

Concepts associés (32)

Recherche d'information

TF-IDF

Distributional semantics

Sac de mots

Précision et rappel

Afficher plus