Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Booster: Algorithme Adaboost

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre le concept de boosting, en se concentrant sur l'algorithme Adaboost et la modélisation additive par étapes. Il explique la dérivation d'Adaboost en tant que FSAM sur la perte exponentielle, les arbres boostés et les interprétations d'Adaboost. La séance de cours discute également des solutions pour B et G, en les comparant à Adaboost, la stimulation des arbres et la stimulation générale des arbres de gradient pour la classification.

Enseignant·e

Yoav Zemel

Source officielle

Proximité ontologique

Information engineering

Apprentissage automatique: Arbre de décision (apprentissage)

Concepts associés (25)

Boosting

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances. Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

Gradient boosting

Gradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.

AdaBoost

AdaBoost (ou adaptive boosting) est, en intelligence artificielle et en apprentissage automatique, un méta-algorithme de boosting introduit par Yoav Freund et Robert Schapire. Il peut être utilisé en association avec de nombreux autres types d'algorithmes d'apprentissage afin d'en améliorer les performances. Les sorties des autres algorithmes (appelés classifieurs faibles) sont combinées en une somme pondérée qui représente la sortie finale du classeur boosté.

Apprentissage ensembliste

In statistics and machine learning, ensemble methods use multiple learning algorithms to obtain better predictive performance than could be obtained from any of the constituent learning algorithms alone. Unlike a statistical ensemble in statistical mechanics, which is usually infinite, a machine learning ensemble consists of only a concrete finite set of alternative models, but typically allows for much more flexible structure to exist among those alternatives.

Loss functions for classification

In machine learning and mathematical optimization, loss functions for classification are computationally feasible loss functions representing the price paid for inaccuracy of predictions in classification problems (problems of identifying which category a particular observation belongs to). Given as the space of all possible inputs (usually ), and as the set of labels (possible outputs), a typical goal of classification algorithms is to find a function which best predicts a label for a given input .

Afficher plus

Séances de cours associées (32)

Classifications structurées: Arbres de décision et renforcement

Explore les arbres de décision, l'élimination excessive, les techniques stimulantes et leurs applications pratiques dans la modélisation prédictive.

Arbres de décision: Induction et attributs

Explore les arbres de décision, la sélection des attributs, le compromis biais-variance et les méthodes d'ensemble dans l'apprentissage automatique.

Apprentissage supervisé non linéaire

Explore le biais inductif de différentes méthodes d'apprentissage supervisé non linéaires et les défis de l'accordage hyperparamétrique.

Arbres de décision et de régression

Explore les arbres de décision et de régression, les mesures d'impuretés, les algorithmes d'apprentissage et les implémentations, y compris les arbres d'inférence conditionnelle et la taille des arbres.

Forêts décisionnelles : structure et formation

Couvre les forêts de décision, la formation, les apprenants faibles, l'entropie, la stimulation, l'estimation de pose 3D et les applications pratiques.

Afficher plus

Concepts associés (25)

Boosting

Gradient boosting

AdaBoost

Apprentissage ensembliste

Loss functions for classification

Afficher plus