Séance de cours

Arbres de décision et stimulation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours aborde les arbres de décision comme une méthode flexible pour l'apprentissage automatique, en les illustrant comme une formalisation des stratégies pour les processus décisionnels. Il explique le concept d'arbres de décision, leur construction, et leur application dans les tâches de classification et de régression. La séance de cours introduit également le boosting comme une technique pour combiner plusieurs prédicteurs séquentiellement, en se concentrant sur AdaBoost et Gradient Boosting algorithmes. Il examine les avantages et les limites des arbres de décision, y compris leur capacité à gérer des types de données mixtes et la question de l'aménagement excessif. La présentation comprend des exemples, des algorithmes et des implémentations pratiques utilisant des bibliothèques Python comme scikit-learn.

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Arbre de décision (apprentissage)

Concepts associés (29)

Gradient boosting

Gradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.

Apprentissage ensembliste

In statistics and machine learning, ensemble methods use multiple learning algorithms to obtain better predictive performance than could be obtained from any of the constituent learning algorithms alone. Unlike a statistical ensemble in statistical mechanics, which is usually infinite, a machine learning ensemble consists of only a concrete finite set of alternative models, but typically allows for much more flexible structure to exist among those alternatives.

Boosting

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances. Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

AdaBoost

AdaBoost (ou adaptive boosting) est, en intelligence artificielle et en apprentissage automatique, un méta-algorithme de boosting introduit par Yoav Freund et Robert Schapire. Il peut être utilisé en association avec de nombreux autres types d'algorithmes d'apprentissage afin d'en améliorer les performances. Les sorties des autres algorithmes (appelés classifieurs faibles) sont combinées en une somme pondérée qui représente la sortie finale du classeur boosté.

Early stopping

In machine learning, early stopping is a form of regularization used to avoid overfitting when training a learner with an iterative method, such as gradient descent. Such methods update the learner so as to make it better fit the training data with each iteration. Up to a point, this improves the learner's performance on data outside of the training set. Past that point, however, improving the learner's fit to the training data comes at the expense of increased generalization error.

Afficher plus

Séances de cours associées (64)

Arbres de régression et méthodes d'ensemble dans l'apprentissage automatique

Discute des arbres de régression, des méthodes d'ensemble et de leurs applications dans la prévision des prix des voitures d'occasion et des rendements des stocks.

Classifications structurées: Arbres de décision et renforcement

Explore les arbres de décision, l'élimination excessive, les techniques stimulantes et leurs applications pratiques dans la modélisation prédictive.

Arbres de décision et forêts aléatoires: concepts et applications

Discute des arbres de décision et des forêts aléatoires, en se concentrant sur leur structure, leur optimisation et leur application dans les tâches de régression et de classification.

Algorithmes de classification: approches génératives et discriminatoires

Explore les algorithmes de classification génératifs et discriminatifs, en mettant l'accent sur leurs applications et leurs différences dans les tâches d'apprentissage automatique.

Les bases du machine learning : l’apprentissage supervisé

Introduit les bases de l'apprentissage automatique supervisé, couvrant les types, les techniques, le compromis biais-variance et l'évaluation du modèle.

Afficher plus

Concepts associés (29)

Gradient boosting

Apprentissage ensembliste