Séance de cours

Résolution d'entités : Techniques et applications

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

CS-422: Database systems

This course is intended for students who want to understand modern large-scale data analysis systems and database systems. It covers a wide range of topics and technologies, and will prepare students to be able to build such systems as well as read and und ...

Description

Cette séance de cours couvre le concept de résolution d'entité (ER), qui implique l'identification et l'agrégation de différents profils d'entité qui se réfèrent à la même entité du monde réel à travers des ensembles de données. Les sujets incluent l'élimination des doublons, le couplage d'enregistrements, les mesures de similarité, la déduplication des données et les réparations possibles. L'instructeur discute également des défis liés au traitement des entités en double, tels que l'ambiguïté du nom / des attributs et les erreurs dues à la saisie de données. Diverses techniques telles que le clustering, le blocage, la jointure de q-grammes et l'algorithme ClusterJoin sont expliquées en détail pour gérer efficacement la détection des doublons et le clustering d'entités.

Enseignant·e

Anastasia Ailamaki

Expertise SystÃ¨mes de gestion de bases de donnÃ©es, applications scientifiques, architecture des ordinateurs Enseignement et PhD Doctorant·es actuel·les Hamish Nicholson, Anna Herlihy, Yi Jiang, Eleni Zapridou, Georgiy Konstantinovich Lebedev, Ioanna Tsakalidou A dirigé les thèses EPFL de Farhan Tauheed, Radu Ioan Stoica, Manos Athanassoulis, Pinar Tözün, Adrian Daniel Popescu, Ioannis Alagiannis, Renata Borovica-Gajic, Danica Porobic, Iraklis Psaroudakis, Manos Karpathiotakis, Matthaios Alexandros Olma,

Source officielle

Concepts associés (16)

Regroupement hiérarchique

Dans le domaine de l'analyse et de la classification automatique de données, le regroupement hiérarchique est un partitionnement de données ou clustering, au moyen de diverses méthodes, dites « ascendantes » et « descendantes ». Les méthodes dites « descendantes » partent d’une solution générale vers une autre plus spécifique. Les méthodes de cette catégorie démarrent avec une seule classe contenant la totalité puis se divisent à chaque étape selon un critère jusqu’à l’obtention d’un ensemble de classes différentes.

K-moyennes

Le partitionnement en k-moyennes (ou k-means en anglais) est une méthode de partitionnement de données et un problème d'optimisation combinatoire. Étant donnés des points et un entier k, le problème est de diviser les points en k groupes, souvent appelés clusters, de façon à minimiser une certaine fonction. On considère la distance d'un point à la moyenne des points de son cluster ; la fonction à minimiser est la somme des carrés de ces distances.

Single-linkage clustering

In statistics, single-linkage clustering is one of several methods of hierarchical clustering. It is based on grouping clusters in bottom-up fashion (agglomerative clustering), at each step combining two clusters that contain the closest pair of elements not yet belonging to the same cluster as each other. This method tends to produce long thin clusters in which nearby elements of the same cluster have small distances, but elements at opposite ends of a cluster may be much farther from each other than two elements of other clusters.

Qualité des données

La qualité des données, en informatique se réfère à la conformité des données aux usages prévus, dans les modes opératoires, les processus, les prises de décision, et la planification (J.M. Juran). De même, les données sont jugées de grande qualité si elles représentent correctement la réalité à laquelle elles se réfèrent. Ces deux points de vue peuvent souvent entrer en contradiction, y compris lorsqu'un même ensemble de données est utilisé avec un objectif commun.

Nettoyage de données

Le nettoyage de données est l'opération de détection et de correction (ou suppression) d'erreurs présentes sur des données stockées dans des bases de données ou dans des fichiers. Le nettoyage de données est un des problèmes majeurs des entrepôts de données. Les données présentes dans les bases de données peuvent avoir plusieurs types d'erreurs comme des erreurs de frappe, des informations manquantes, des imprécisions etc. La partie impropre de la donnée traitée peut être remplacée, modifiée ou supprimée.

Afficher plus

Séances de cours associées (62)

Aperçu de l'apprentissage supervisé

Contient les CNN, les RNN, les SVM et les méthodes d'apprentissage supervisé, soulignant l'importance d'harmoniser la régularisation et de prendre des décisions éclairées dans le domaine de l'apprentissage automatique.

Coloration graphique II

Explore les concepts avancés de coloration graphique, y compris la coloration plantée, le seuil de rigidité, et les variables gelées en points fixes BP.

Apprentissage sans supervision : regroupement

Explore l'apprentissage non supervisé par des techniques de regroupement, des algorithmes, des applications et des défis dans divers domaines.

Apprentissage sans supervision : regroupement et réduction de dimensionnalité

Introduit l'apprentissage non supervisé en cluster avec les moyennes K et la réduction de dimensionnalité à l'aide de PCA, ainsi que des exemples pratiques.

Groupement : moyenne en k

Explique le regroupement des moyennes k, en attribuant des points de données à des grappes en fonction de la proximité et en minimisant les distances carrées à l'intérieur des grappes.

Afficher plus

Concepts associés (16)

Regroupement hiérarchique

K-moyennes

Single-linkage clustering

Qualité des données

Nettoyage de données

Afficher plus