Séance de cours

Arbres de décision: surajustement et randomisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MGT-448: Statistical inference and machine learning

This course aims to provide graduate students a thorough grounding in the methods, theory, mathematics and algorithms needed to do research and applications in machine learning. The course covers topics from machine learning, classical statistics, and data ...

Description

Cette séance de cours couvre le concept d'arbres de décision, en mettant l'accent sur la création de chemins dans l'arbre pour les échantillons supervisés, la question de l'ajustement excessif dû à l'étiquetage de chaque exemple et l'utilisation de la randomisation pour gérer l'ajustement excessif. Linstructeur explique la notion de gain dinformation et dentropie dans la construction de larbre de décision, introduit lidée de lagrégation bootstrap pour réduire la variance, et discute du modèle vectoriel aléatoire pour la sélection des caractéristiques. La séance de cours aborde également l’application des arbres de décision dans la pratique, en soulignant l’importance de comprendre les subtilités pour éviter les surajustements.

Enseignant·e

Negar Kiyavash

Enseignement et PhD Doctorant·es actuel·les Mohammad Shahverdikondori, Badri Mohammad Reza, Arefe Boushehrian, Sepehr Elahi, Mohammadsadegh Khorasani, Mohammadsaeed Masiha, Amir Mohammad Aboueimehrizi A dirigé les thèses EPFL de Sina Akbari, Ehsan Mokhtarian, Yaroslav Kivva, Fateme Jamshidi Cours Causal inference MGT-416 Les étudiants apprendront les concepts et techniques de base de l'analyse de réseau en mettant l'accent sur l'inférence causale. Théorie et l'application sera équilibrée,

Source officielle

Concepts associés (32)

Information gain (decision tree)

In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one.

Bootstrap aggregating

Le bootstrap aggregating, également appelé bagging (de bootstrap aggregating), est un meta-algorithme d'apprentissage ensembliste conçu pour améliorer la stabilité et la précision des algorithmes d'apprentissage automatique. Il réduit la variance et permet d'éviter le surapprentissage. Bien qu'il soit généralement appliqué aux méthodes d'arbres de décision, il peut être utilisé avec n'importe quel type de méthode. Le bootstrap aggregating est un cas particulier de l'approche d'apprentissage ensembliste.

Gradient boosting

Gradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.

Arbre de décision

vignette| Arbre de décision Un arbre de décision est un outil d'aide à la décision représentant un ensemble de choix sous la forme graphique d'un arbre. Les différentes décisions possibles sont situées aux extrémités des branches (les « feuilles » de l'arbre), et sont atteintes en fonction de décisions prises à chaque étape. L'arbre de décision est un outil utilisé dans des domaines variés tels que la sécurité, la fouille de données, la médecine, etc. Il a l'avantage d'être lisible et rapide à exécuter.

Arbre de décision (apprentissage)

L’apprentissage par arbre de décision désigne une méthode basée sur l'utilisation d'un arbre de décision comme modèle prédictif. On l'utilise notamment en fouille de données et en apprentissage automatique. Dans ces structures d'arbre, les feuilles représentent les valeurs de la variable-cible et les embranchements correspondent à des combinaisons de variables d'entrée qui mènent à ces valeurs. En analyse de décision, un arbre de décision peut être utilisé pour représenter de manière explicite les décisions réalisées et les processus qui les amènent.

Afficher plus

Séances de cours associées (64)

Apprentissage supervisé : Arbres de décision

Couvre l'apprentissage supervisé avec des arbres de décision et la sélection de caractéristiques pour la classification.

Aborder le suréquipement dans les arbres de décision

Explore le surajustement dans les arbres de décision et introduit des forêts aléatoires comme solution.

Construire un arbre de décision

Couvre les arbres de décision de construction pour classer les champignons comme toxiques ou non.

Forêts décisionnelles : structure et formation

Couvre les forêts de décision, la formation, les apprenants faibles, l'entropie, la stimulation, l'estimation de pose 3D et les applications pratiques.

Classification d'image: Arbres de décision et forêts aléatoires

Explore la classification des images en utilisant des arbres de décision et des forêts aléatoires pour réduire la variance et améliorer la robustesse du modèle.

Afficher plus

Concepts associés (32)

Information gain (decision tree)

Bootstrap aggregating

Gradient boosting

Arbre de décision

Arbre de décision (apprentissage)

Afficher plus