Séance de cours

Compréhension de la généralisation : partialité implicite et optimisation

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-556: Mathematics of data: from theory to computation

This course provides an overview of key advances in continuous optimization and statistical analysis for machine learning. We review recent learning formulations and models as well as their guarantees

Description

Cette séance de cours se penche sur le compromis entre la complexité et le risque dans les modèles d'apprentissage automatique, montrant comment l'erreur de test diminue avec la complexité croissante des modèles. Il explore les avantages de la surparamétrisation, le biais implicite des algorithmes d'optimisation et le concept de régularisation implicite. La discussion s'étend à la stabilité des algorithmes d'optimisation, au phénomène de double descente et à la probabilité d'interpolation dans les ensembles de données à haute dimension.

Enseignant·e

Volkan Cevher

Volkan Cevher received the B.Sc. (valedictorian) in electrical engineering from Bilkent University in Ankara, Turkey, in 1999 and the Ph.D. in electrical and computer engineering from the Georgia Institute of Technology in Atlanta, GA in 2005. He was a Research Scientist with the University of Maryland, College Park from 2006-2007 and also with Rice University in Houston, TX, from 2008-2009. Currently, he is an Associate Professor at the Swiss Federal Institute of Technology Lausanne and a Faculty Fellow in the Electrical and Computer Engineering Department at Rice University. His research interests include machine learning, signal processing theory, optimization theory and methods, and information theory. Dr. Cevher is an ELLIS fellow and was the recipient of the Google Faculty Research award in 2018, the IEEE Signal Processing Society Best Paper Award in 2016, a Best Paper Award at CAMSAP in 2015, a Best Paper Award at SPARS in 2009, and an ERC CG in 2016 as well as an ERC StG in 2011.

Source officielle

Concepts associés (32)

Implicit stereotype

An implicit bias or implicit stereotype is the pre-reflective attribution of particular qualities by an individual to a member of some social out group. Implicit stereotypes are thought to be shaped by experience and based on learned associations between particular qualities and social categories, including race and/or gender. Individuals' perceptions and behaviors can be influenced by the implicit stereotypes they hold, even if they are sometimes unaware they hold such stereotypes.

Test d'association implicite

En psychologie sociale, le test d'association implicite ou TAI (ou implicit-association test abrégé IAT) est une méthode permettant d'étudier les associations d'idées automatiques, souvent inconscientes et présentes dans la mémoire implicites. Introduite en 1998 par , elle est notamment utilisée pour mesurer les stéréotypes racistes ou sexistes d'un individu et vise à expliquer et théoriser des phénomènes psychiques ou comportementaux causés tout ou partie par de telles associations.

Implicit attitude

Implicit attitudes are evaluations that occur without conscious awareness towards an attitude object or the self. These evaluations are generally either favorable or unfavorable and come about from various influences in the individual experience. The commonly used definition of implicit attitude within cognitive and social psychology comes from Anthony Greenwald and Mahzarin Banaji's template for definitions of terms related to implicit cognition: "Implicit attitudes are introspectively unidentified (or inaccurately identified) traces of past experience that mediate favorable or unfavorable feeling, thought, or action toward social objects".

Algorithme

thumb|Algorithme de découpe d'un polygone quelconque en triangles (triangulation). Un algorithme est une suite finie et non ambiguë d'instructions et d’opérations permettant de résoudre une classe de problèmes. Le domaine qui étudie les algorithmes est appelé l'algorithmique. On retrouve aujourd'hui des algorithmes dans de nombreuses applications telles que le fonctionnement des ordinateurs, la cryptographie, le routage d'informations, la planification et l'utilisation optimale des ressources, le , le traitement de textes, la bio-informatique L' algorithme peut être mis en forme de façon graphique dans un algorigramme ou organigramme de programmation.

Régularisation (mathématiques)

vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.

Afficher plus

Séances de cours associées (64)

La généralisation dans l'apprentissage profond

S'insère dans le compromis entre la complexité du modèle et le risque, les limites de généralisation, et les dangers d'un ajustement excessif des classes de fonctions complexes.

La généralisation dans l'apprentissage profond

Explore la généralisation dans l'apprentissage profond, couvrant la complexité du modèle, le biais implicite, et le phénomène de double descente.

Méthodes d'optimisation adaptative: théorie et applications

Explore des méthodes d'optimisation adaptative qui s'adaptent localement et convergent sans connaître la constante de douceur.

Bias implicites dans l'apprentissage automatique

Explore les biais implicites, la descente de gradient, la stabilité dans les algorithmes d'optimisation et les limites de généralisation dans l'apprentissage automatique.

Résoudre les jeux de parité dans la pratique

Explore les aspects pratiques de la résolution des jeux de parité, y compris les stratégies gagnantes, les algorithmes, la complexité, le déterminisme et les approches heuristiques.

Afficher plus

Concepts associés (32)

Implicit stereotype

Test d'association implicite

Implicit attitude

Algorithme

Régularisation (mathématiques)

Afficher plus