Séance de cours

Ensachage et forêts aléatoires

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre les concepts d'ensemblage, d'ensachage et de forêts aléatoires, en se concentrant sur la réduction de la variance, les échantillons OOB, l'importance variable et les détails de l'algorithme. Il explique comment l'ensachage fonctionne pour la perte carrée et ses limites avec différents prédicteurs. L'instructeur discute également de l'idée clé derrière les forêts aléatoires, qui visent à réduire davantage les corrélations en randomisant la construction d'arbres. En outre, la séance de cours explore le concept de la validation croisée hors du sac et diverses mesures d'importance variable dans les forêts aléatoires, telles que le score de Gini VI et le score de permutation VI.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (22)

Apprentissage supervisé

L'apprentissage supervisé (supervised learning en anglais) est une tâche d'apprentissage automatique consistant à apprendre une fonction de prédiction à partir d'exemples annotés, au contraire de l'apprentissage non supervisé. On distingue les problèmes de régression des problèmes de classement. Ainsi, on considère que les problèmes de prédiction d'une variable quantitative sont des problèmes de régression tandis que les problèmes de prédiction d'une variable qualitative sont des problèmes de classification.

Apprentissage automatique

L'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.

Forêt d'arbres décisionnels

vignette|Illustration du principe de construction d'une forêt aléatoire comme agrégation d'arbre aléatoires. En apprentissage automatique, les forêts d'arbres décisionnels (ou forêts aléatoires de l'anglais random forest classifier) forment une méthode d'apprentissage ensembliste. Ils ont été premièrement proposées par Ho en 1995 et ont été formellement proposées en 2001 par Leo Breiman et Adele Cutler. Cet algorithme combine les concepts de sous-espaces aléatoires et de bagging.

Bootstrap aggregating

Le bootstrap aggregating, également appelé bagging (de bootstrap aggregating), est un meta-algorithme d'apprentissage ensembliste conçu pour améliorer la stabilité et la précision des algorithmes d'apprentissage automatique. Il réduit la variance et permet d'éviter le surapprentissage. Bien qu'il soit généralement appliqué aux méthodes d'arbres de décision, il peut être utilisé avec n'importe quel type de méthode. Le bootstrap aggregating est un cas particulier de l'approche d'apprentissage ensembliste.

Boosting

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances. Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

Afficher plus

Séances de cours associées (64)

Arbres de régression et méthodes d'ensemble dans l'apprentissage automatique

Discute des arbres de régression, des méthodes d'ensemble et de leurs applications dans la prévision des prix des voitures d'occasion et des rendements des stocks.

Méthodes de l'ensemble : Forêts aléatoires

Couvre les méthodes d'ensemble comme les forêts aléatoires et les baies de Naive de Gaussian, expliquant comment elles améliorent la précision de prédiction et estimer les distributions gaussiennes conditionnelles.

Apprentissage supervisé : arbre k-NN et arbre de décision

Introduit l'apprentissage supervisé avec k-NN et les arbres de décision, couvrant les techniques, les exemples et les méthodes d'ensemble.

Bases d'apprentissage automatique : Apprentissage supervisé et non supervisé

Couvre les bases de l'apprentissage automatique, l'apprentissage supervisé et non supervisé, diverses techniques comme les voisins k-nearest et les arbres de décision, et les défis de l'ajustement excessif.

Arbres de décision et forêts aléatoires: concepts et applications

Discute des arbres de décision et des forêts aléatoires, en se concentrant sur leur structure, leur optimisation et leur application dans les tâches de régression et de classification.

Afficher plus

Concepts associés (22)

Apprentissage supervisé

Apprentissage automatique

Forêt d'arbres décisionnels

Bootstrap aggregating

Boosting

Afficher plus