Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Carrés moyens avec caractéristiques

Dans cours

MGT-448: Statistical inference and machine learning

This course aims to provide graduate students a thorough grounding in the methods, theory, mathematics and algorithms needed to do research and applications in machine learning. The course covers topics from machine learning, classical statistics, and data ...

Description

Cette séance de cours couvre le concept de moindres carrés moyens (LM) avec des fonctionnalités, y compris les règles de mise à jour de descente de gradient, le réglage de gradient stochastique, le réglage de lot, l'astuce du noyau pour la réduction de la complexité de calcul et la preuve par induction pour les mises à jour itératives.

Enseignant·e

Negar Kiyavash

Source officielle

Concepts associés (23)

Computational complexity

In computer science, the computational complexity or simply complexity of an algorithm is the amount of resources required to run it. Particular focus is given to computation time (generally measured by the number of needed elementary operations) and memory storage requirements. The complexity of a problem is the complexity of the best algorithms that allow solving the problem. The study of the complexity of explicitly given algorithms is called analysis of algorithms, while the study of the complexity of problems is called computational complexity theory.

Raisonnement par récurrence

vignette|Le raisonnement par récurrence est comme une suite de dominos. Si la propriété est vraie au rang n0 (i. e. le premier domino de numéro 0 tombe) et si sa véracité au rang n implique celle au rang n + 1 (i. e. la chute du domino numéro n fait tomber le domino numéro n + 1) alors la propriété est vraie pour tout entier (i. e. tous les dominos tombent). En mathématiques, le raisonnement par récurrence (ou par induction, ou induction complète) est une forme de raisonnement visant à démontrer une propriété portant sur tous les entiers naturels.

Théorie de la complexité (informatique théorique)

vignette|Quelques classes de complexité étudiées dans le domaine de la théorie de la complexité. Par exemple, P est la classe des problèmes décidés en temps polynomial par une machine de Turing déterministe. La théorie de la complexité est le domaine des mathématiques, et plus précisément de l'informatique théorique, qui étudie formellement le temps de calcul, l'espace mémoire (et plus marginalement la taille d'un circuit, le nombre de processeurs, l'énergie consommée ...) requis par un algorithme pour résoudre un problème algorithmique.

Algorithme du gradient stochastique

L'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).

Classe de complexité

En informatique théorique, et plus précisément en théorie de la complexité, une classe de complexité est un ensemble de problèmes algorithmiques dont la résolution nécessite la même quantité d'une certaine ressource. Une classe est souvent définie comme l'ensemble de tous les problèmes qui peuvent être résolus sur un modèle de calcul M, utilisant une quantité de ressources du type R, où n, est la taille de l'entrée. Les classes les plus usuelles sont celles définies sur des machines de Turing, avec des contraintes de temps de calcul ou d'espace.

Afficher plus

Séances de cours associées (29)

Complexité et induction: Algorithmes et preuves

Couvre la complexité, les algorithmes et les preuves du pire cas, y compris l'induction mathématique et la récursion.

Complexité et induction: Algorithmes et preuves

Explore la complexité du pire cas, l'induction mathématique, et des algorithmes comme la recherche binaire et le tri d'insertion.

Méthodes numériques : Runge-Kutta Rapprochement

Couvre la méthode Runge-Kutta pour l'approximation des solutions d'équations différentielles.

Systèmes linéaires: convergence et méthodes

Explore les systèmes linéaires, la convergence et les méthodes de résolution en mettant l'accent sur les besoins en temps et en mémoire du processeur.

Naive Bayes : analyse discriminante gaussienne

Couvre l'hypothèse de Naïve Bayes, l'analyse discriminante gaussienne, les estimations de ML et le tour du noyau.

Afficher plus

Concepts associés (23)

Computational complexity

Raisonnement par récurrence

Théorie de la complexité (informatique théorique)

Algorithme du gradient stochastique

Classe de complexité

Afficher plus