Séance de cours

Complexité : approximation-estimation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours couvre le contrôle explicite et implicite de la complexité dans les espaces dhypothèses, y compris les variables, les fonctions polynomiales, les fonctions spline, les approximations dondelettes et la bande passante RKHS. Il traite également de la décomposition des risques, du compromis approximation-estimation, du surajustement, de la régularisation, de l'erreur de prédiction, du compromis biais-variance et de la complexité des modèles.

Enseignant·e

Yoav Zemel

Source officielle

Proximité ontologique

Statistique

Analyse des données: Validation croisée

Mathématiques

Analyse (mathématiques): Analyse numérique

Concepts associés (32)

Surapprentissage

vignette|300x300px|La ligne verte représente un modèle surappris et la ligne noire représente un modèle régulier. La ligne verte classifie trop parfaitement les données d'entrainement, elle généralise mal et donnera de mauvaises prévisions futures avec de nouvelles données. Le modèle vert est donc finalement moins bon que le noir. En statistique, le surapprentissage, ou sur-ajustement, ou encore surinterprétation (en anglais « overfitting »), est une analyse statistique qui correspond trop précisément à une collection particulière d'un ensemble de données.

Dilemme biais-variance

En statistique et en apprentissage automatique, le dilemme (ou compromis) biais–variance est le problème de minimiser simultanément deux sources d'erreurs qui empêchent les algorithmes d'apprentissage supervisé de généraliser au-delà de leur échantillon d'apprentissage : Le biais est l'erreur provenant d’hypothèses erronées dans l'algorithme d'apprentissage. Un biais élevé peut être lié à un algorithme qui manque de relations pertinentes entre les données en entrée et les sorties prévues (sous-apprentissage).

Régularisation (mathématiques)

vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.

Computational complexity

In computer science, the computational complexity or simply complexity of an algorithm is the amount of resources required to run it. Particular focus is given to computation time (generally measured by the number of needed elementary operations) and memory storage requirements. The complexity of a problem is the complexity of the best algorithms that allow solving the problem. The study of the complexity of explicitly given algorithms is called analysis of algorithms, while the study of the complexity of problems is called computational complexity theory.

Classe de complexité

En informatique théorique, et plus précisément en théorie de la complexité, une classe de complexité est un ensemble de problèmes algorithmiques dont la résolution nécessite la même quantité d'une certaine ressource. Une classe est souvent définie comme l'ensemble de tous les problèmes qui peuvent être résolus sur un modèle de calcul M, utilisant une quantité de ressources du type R, où n, est la taille de l'entrée. Les classes les plus usuelles sont celles définies sur des machines de Turing, avec des contraintes de temps de calcul ou d'espace.

Afficher plus

Séances de cours associées (64)

Critères de sélection du modèle : AIC, BIC, Cp

Explore les critères de sélection des modèles comme l'AIC, le BIC et le Cp en statistique pour la science des données.

Théorie de la généralisation

Explore la théorie de la généralisation dans l'apprentissage automatique, en abordant les défis dans les espaces de dimension supérieure et le compromis entre les biais et les variables.

La généralisation dans l'apprentissage profond

Explore la généralisation dans l'apprentissage profond, couvrant la complexité du modèle, le biais implicite, et le phénomène de double descente.

Complexité du modèle et suréquipement dans l'apprentissage automatique

Couvre la complexité du modèle, l'ajustement excessif et les stratégies pour sélectionner les modèles d'apprentissage automatique appropriés.

Overfitting dans l'apprentissage supervisé: études de cas et techniques

Aborde l'ajustement excessif dans l'apprentissage supervisé par le biais d'études de cas de régression polynomiale et de techniques de sélection de modèles.

Afficher plus

Concepts associés (32)

Surapprentissage

Dilemme biais-variance

Régularisation (mathématiques)

Computational complexity

Classe de complexité

Afficher plus