Séance de cours

Cours intensif sur les méthodes d'ensemble: Ensachage et Boosting

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-411: Fundamentals of inference and learning

This is an introductory course in the theory of statistics, inference, and machine learning, with an emphasis on theoretical understanding & practical exercises. The course will combine, and alternate, between mathematical theoretical foundations and prac ...

Description

Cette séance de cours présente les méthodes d'ensemble, en mettant l'accent sur l'ensachage et le renforcement. Il couvre le concept de faible capacité d'apprentissage menant à une forte capacité d'apprentissage, l'algorithme AdaBoost pour combiner les classificateurs faibles, et le processus de réglage des poids à chaque étape de temps. Linstructeur explique le processus itératif dajouter de nouveaux classificateurs, dadapter les poids et de re-pondérer les instances basées sur des classifications erronées.

Enseignant·e

Florent Gérard Krzakala

Source officielle

Concepts associés (32)

Boosting

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances. Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

AdaBoost

AdaBoost (ou adaptive boosting) est, en intelligence artificielle et en apprentissage automatique, un méta-algorithme de boosting introduit par Yoav Freund et Robert Schapire. Il peut être utilisé en association avec de nombreux autres types d'algorithmes d'apprentissage afin d'en améliorer les performances. Les sorties des autres algorithmes (appelés classifieurs faibles) sont combinées en une somme pondérée qui représente la sortie finale du classeur boosté.

Apprentissage ensembliste

In statistics and machine learning, ensemble methods use multiple learning algorithms to obtain better predictive performance than could be obtained from any of the constituent learning algorithms alone. Unlike a statistical ensemble in statistical mechanics, which is usually infinite, a machine learning ensemble consists of only a concrete finite set of alternative models, but typically allows for much more flexible structure to exist among those alternatives.

Gradient boosting

Gradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest.

Classification naïve bayésienne

vignette|Exemple de classification naïve bayésienne pour un ensemble de données dont le nombre augmente avec le temps. La classification naïve bayésienne est un type de classification bayésienne probabiliste simple basée sur le théorème de Bayes avec une forte indépendance (dite naïve) des hypothèses. Elle met en œuvre un classifieur bayésien naïf, ou classifieur naïf de Bayes, appartenant à la famille des classifieurs linéaires. Un terme plus approprié pour le modèle probabiliste sous-jacent pourrait être « modèle à caractéristiques statistiquement indépendantes ».

Afficher plus

Séances de cours associées (40)

Booster: Algorithme Adaboost

Couvre boosting en mettant l'accent sur l'algorithme Adaboost, en avant de la modélisation additive étape par étape, et l'arbre de gradient boosting.

Classement multiclasses

Couvre le concept de classification multiclasse et les défis de la séparation linéaire des données avec les classes multiples.

Adaboost: Booster les méthodes

Explique l'algorithme Adaboost pour construire des classificateurs forts à partir de faibles, en mettant l'accent sur l'amélioration des méthodes et la détection des visages.

Paysage et généralisation dans l'apprentissage profond

Explore les défis et les points de vue de l'apprentissage profond, en mettant l'accent sur le paysage des pertes, la généralisation et l'apprentissage caractéristique.

Classifications structurées: Arbres de décision et renforcement

Explore les arbres de décision, l'élimination excessive, les techniques stimulantes et leurs applications pratiques dans la modélisation prédictive.

Afficher plus

Concepts associés (32)

Boosting

AdaBoost

Apprentissage ensembliste

Gradient boosting

Classification naïve bayésienne

Afficher plus