Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Construire un arbre de décision

Dans cours

MGT-448: Statistical inference and machine learning

This course aims to provide graduate students a thorough grounding in the methods, theory, mathematics and algorithms needed to do research and applications in machine learning. The course covers topics from machine learning, classical statistics, and data ...

Description

Cette séance de cours couvre le processus de construction d'un arbre de décision pour classer les champignons comme venimeux ou non sur la base de données données données. Elle comprend la détermination de l'entropie, la sélection de l'attribut racine, le calcul du gain d'information et la classification des nouveaux champignons. La séance de cours traite également du caractère avide de maximiser les techniques d'obtention d'informations et d'élagage des arbres de décision.

Enseignant·e

Negar Kiyavash

Source officielle

Concepts associés (32)

Information gain (decision tree)

In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one.

Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.

Divergence de Kullback-Leibler

En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.

Théorie de l'information

La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.

Arbre de décision (apprentissage)

L’apprentissage par arbre de décision désigne une méthode basée sur l'utilisation d'un arbre de décision comme modèle prédictif. On l'utilise notamment en fouille de données et en apprentissage automatique. Dans ces structures d'arbre, les feuilles représentent les valeurs de la variable-cible et les embranchements correspondent à des combinaisons de variables d'entrée qui mènent à ces valeurs. En analyse de décision, un arbre de décision peut être utilisé pour représenter de manière explicite les décisions réalisées et les processus qui les amènent.

Afficher plus

Séances de cours associées (57)

Apprentissage supervisé : Arbres de décision

Couvre l'apprentissage supervisé avec des arbres de décision et la sélection de caractéristiques pour la classification.

Interprétation de l'entropie

Explore le concept d'entropie exprimée en bits et sa relation avec les distributions de probabilité, en se concentrant sur le gain et la perte d'informations dans divers scénarios.

Arbres de décision: surajustement et randomisation

Explore les arbres de décision, l'ajustement excessif et la randomisation dans l'apprentissage supervisé, en soulignant l'importance de la gestion de la variance et de la sélection des fonctionnalités.

Formulation variationnelle : Mesures d'information

Explore la formulation variationnelle pour mesurer le contenu de l'information et la divergence entre les distributions de probabilité.

Mesures d'information

Couvre les mesures d'information telles que l'entropie, la divergence Kullback-Leibler et l'inégalité de traitement des données, ainsi que les noyaux de probabilité et les informations mutuelles.

Afficher plus

Concepts associés (32)

Information gain (decision tree)

Information mutuelle

Divergence de Kullback-Leibler

Théorie de l'information

Arbre de décision (apprentissage)

Afficher plus