Séance de cours

Régression logistique : nouvelle formulation et nouvelle fonction de perte

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

MATH-412: Statistical machine learning

A course on statistical machine learning for supervised and unsupervised learning ...

Description

Cette séance de cours introduit une formulation alternative de régression logistique pour les étiquettes -1,1, montrant une expression plus simple pour la probabilité conditionnelle. En réinterprétant la régression logistique comme une minimisation empirique du risque avec une nouvelle fonction de perte, l’instructeur explique le lien avec le principe du maximum de vraisemblance et le concept de risque empirique. La séance de cours compare la nouvelle fonction de perte avec d'autres rencontrées, en mettant l'accent sur la convexité et les avantages de la perte logistique. Grâce à des représentations graphiques et des exemples de données de jouets, l'instructeur illustre comment minimiser la perte logistique peut conduire à des prédicteurs avec un risque empirique plus faible pour la perte zéro-un.

Enseignant·e

Yoav Zemel

Source officielle

Concepts associés (32)

Probabilité conditionnelle

vignette|Illustration des probabilités conditionnelles avec un diagramme d'Euler. On a la probabilité a priori et les probabilités conditionnelles , et .|320x320px En théorie des probabilités, une probabilité conditionnelle est la probabilité d'un événement sachant qu'un autre événement a eu lieu. Par exemple, si une carte d'un jeu est tirée au hasard, on estime qu'il y a une chance sur quatre d'obtenir un cœur ; mais si on aperçoit un reflet rouge sur la table, il y a maintenant une chance sur deux d'obtenir un cœur.

Régression logistique

En statistiques, la régression logistique ou modèle logit est un modèle de régression binomiale. Comme pour tous les modèles de régression binomiale, il s'agit d'expliquer au mieux une variable binaire (la présence ou l'absence d'une caractéristique donnée) par des observations réelles nombreuses, grâce à un modèle mathématique. En d'autres termes d'associer une variable aléatoire de Bernoulli (génériquement notée ) à un vecteur de variables aléatoires . La régression logistique constitue un cas particulier de modèle linéaire généralisé.

Conditional probability distribution

In probability theory and statistics, given two jointly distributed random variables and , the conditional probability distribution of given is the probability distribution of when is known to be a particular value; in some cases the conditional probabilities may be expressed as functions containing the unspecified value of as a parameter. When both and are categorical variables, a conditional probability table is typically used to represent the conditional probability.

Multinomial logistic regression

In statistics, multinomial logistic regression is a classification method that generalizes logistic regression to multiclass problems, i.e. with more than two possible discrete outcomes. That is, it is a model that is used to predict the probabilities of the different possible outcomes of a categorically distributed dependent variable, given a set of independent variables (which may be real-valued, binary-valued, categorical-valued, etc.).

Fonction objectif

vignette|comparaison de certains substituts de la fonction de perte Le terme fonction objectif ou fonction économique, est utilisé en optimisation mathématique et en recherche opérationnelle pour désigner une fonction qui sert de critère pour déterminer la meilleure solution à un problème d'optimisation. Elle associe une valeur à une instance d'un problème d'optimisation. Le but du problème d'optimisation est alors de minimiser ou de maximiser cette fonction jusqu'à l'optimum, par différents procédés comme l'algorithme du simplexe.

Afficher plus

Séances de cours associées (64)

Modèles linéaires pour la classification: Régression logistique et SVM

Couvre les modèles linéaires pour la classification, en se concentrant sur la régression logistique et les machines vectorielles de support.

Modèles linéaires pour la classification

Explore des modèles linéaires pour la classification, la régression logistique et la descente en gradient dans l'apprentissage automatique.

Régression linéaire généralisée : classification

Explorer la régression linéaire généralisée, la classification, les matrices de confusion, les courbes ROC et le bruit dans les données.

Espace latent et RDPG : Analyse statistique des données du réseau

Couvre les modèles spatiaux latents, la régression logistique, le RDPG et les réseaux du monde réel.

Régression linéaire et logistique

Introduit une régression linéaire et logistique, couvrant les modèles paramétriques, la prédiction multi-sorties, la non-linéarité, la descente de gradient et les applications de classification.

Afficher plus

Concepts associés (32)

Probabilité conditionnelle

Régression logistique

Conditional probability distribution

Multinomial logistic regression

Fonction objectif

Afficher plus