Séance de cours

Différenciation vectorielle et fonctions convexes

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

EE-566: Adaptation and learning

In this course, students learn to design and master algorithms and core concepts related to inference and learning from data and the foundations of adaptation and learning theories with applications.

Description

Cette séance de cours couvre les concepts de différenciation vectorielle et de fonctions convexes. Il explique l'importance des vecteurs de gradient et des matrices hessiennes dans les algorithmes itératifs pour l'inférence et l'apprentissage. La séance de cours définit la différenciation de premier et deuxième ordre pour les fonctions des arguments vectoriels et introduit les opérations de différenciation connexes.

Enseignant·e

Ali H. Sayed

Ali H. Sayed est doyen de la Faculté des sciences et techniques de l’ingénieur (STI) de l'EPFL, en Suisse, où il dirige également le laboratoire de systèmes adaptatifs. Il a également été professeur émérite et président du département d'ingénierie électrique de l'UCLA. Il est reconnu comme un chercheur hautement cité et est membre de la US National Academy of Engineering. Il est également membre de l'Académie mondiale des sciences et a été président de l'IEEE Signal Processing Society en 2018 et 2019. Le professeur Sayed est auteur et co-auteur de plus de 570 publications et de six monographies. Ses recherches portent sur plusieurs domaines, dont les théories d'adaptation et d'apprentissage, les sciences des données et des réseaux, l'inférence statistique et les systèmes multi-agents, entre autres. Ses travaux ont été récompensés par plusieurs prix importants, notamment le prix Fourier de l'IEEE (2022), le prix de la société Norbert Wiener (2020) et le prix de l'éducation (2015) de la société de traitement des signaux de l'IEEE, le prix Papoulis (2014) de l'Association européenne de traitement des signaux, le Meritorious Service Award (2013) et le prix de la réalisation technique (2012) de la société de traitement des signaux de l'IEEE, le prix Terman (2005) de la société américaine de formation des ingénieurs, le prix de conférencier émérite (2005) de la société de traitement des signaux de l'IEEE, le prix Koweït (2003) et le prix Donald G. Fink (1996) de l'IEEE. Ses publications ont été récompensées par plusieurs prix du meilleur article de l'IEEE (2002, 2005, 2012, 2014) et de l'EURASIP (2015). Pour finir, Ali H. Sayed est aussi membre de l'IEEE, d'EURASIP et de l'American Association for the Advancement of Science (AAAS), l'éditeur de la revue Science.

Source officielle

Concepts associés (32)

Notation for differentiation

In differential calculus, there is no single uniform notation for differentiation. Instead, various notations for the derivative of a function or variable have been proposed by various mathematicians. The usefulness of each notation varies with the context, and it is sometimes advantageous to use more than one notation in a given context. The most common notations for differentiation (and its opposite operation, the antidifferentiation or indefinite integration) are listed below.

Analyse vectorielle

L'analyse vectorielle est une branche des mathématiques qui étudie les champs de scalaires et de vecteurs suffisamment réguliers des espaces euclidiens, c'est-à-dire les applications différentiables d'un ouvert d'un espace euclidien à valeurs respectivement dans et dans . Du point de vue du mathématicien, l'analyse vectorielle est donc une branche de la géométrie différentielle. Cette dernière inclut l'analyse tensorielle qui apporte des outils plus puissants et une analyse plus concise entre autres des champs de vecteurs.

Gradient

vignette|Chaque champ scalaire est représenté par un dégradé (blanc = valeur basse, noir = valeur haute). Chaque gradient est un champ vectoriel, représenté par des flèches bleues ; chacune pointe dans la direction où le champ scalaire croît le plus vite. vignette|La fonction à deux variables f(x, y) = xe−(x2 + y2) correspond à la température (bleu = valeur basse = froid, rouge = valeur haute = chaud). Le gradient de f est un champ vectoriel, représenté par les flèches bleues ; chacune pointe dans la direction où la température croît le plus vite.

Dérivation automatique

En mathématique et en calcul formel, la dérivation automatique (DA), également appelé dérivation algorithmique, dérivation formelle, ou auto-dérivation est un ensemble de techniques d'évaluation de la dérivée d'une fonction par un programme informatique. La dérivation automatique exploite le fait que chaque programme informatique, aussi compliqué soit-il, exécute une séquence d'opérations arithmétiques élémentaires (addition, soustraction, multiplication, division, etc.) et des fonctions élémentaires (exp, log,sin, cos, etc.

Champ de vecteurs

thumb|Un exemple de champ de vecteurs, de la forme (-y,x). thumb|Autre exemple. thumb|Le flux d'air autour d'un avion est un champ tridimensionnel (champ des vitesses des particules d'air), ici visualisé par les bulles qui matérialisent les lignes de courant. En mathématiques, un champ de vecteurs ou champ vectoriel est une fonction qui associe un vecteur à chaque point d'un espace euclidien ou plus généralement d'une variété différentielle.

Afficher plus

Séances de cours associées (32)

Les bases de l'optimisation

Introduit des bases d'optimisation, couvrant la régression logistique, les dérivés, les fonctions convexes, la descente de gradient et les méthodes de second ordre.

Techniques d'optimisation : Convexity in Machine Learning

Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.

Optimisation : descente de gradient et sous-gradients

Explore des méthodes d'optimisation telles que la descente de gradient et les sous-gradients pour la formation de modèles d'apprentissage automatique, y compris des techniques avancées telles que l'optimisation d'Adam.

Optimisation convexe: Algorithmes de gradient

Couvre les problèmes d'optimisation convexe et les algorithmes basés sur le gradient pour trouver le minimum global.

Mathématiques des données: Optimisation des bases

Couvre les bases de l'optimisation, y compris les normes, la continuité Lipschitz, et les concepts de convexité.

Afficher plus

Concepts associés (32)

Notation for differentiation

Analyse vectorielle

Gradient

Dérivation automatique

Champ de vecteurs

Afficher plus