Mediaspace scheduled maintenance: Aug 25, 2026 07:00 - 12:00 AM. During this time, videos will be temporarily unavailable. Check status updates.

Séance de cours

Optimisation adaptative efficace de la mémoire

Description

Cette séance de cours porte sur l'optimisation adaptative efficace en mémoire pour l'apprentissage à l'échelle humungique, en mettant l'accent sur le travail en commun avec Rohan Anil, Tomer Koren et Vineet Gupta. Les sujets comprennent l'apprentissage profond non linéaire, l'optimisation convexe et les techniques de préconditionnement. L'instructeur discute des défis posés par les frais généraux de mémoire dans la formation de grands modèles et les applications pratiques des méthodes de régularisation adaptative.

Source officielle

Concepts associés (32)

Optimisation (mathématiques)

L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.

Préconditionneur

En algèbre linéaire et en analyse numérique, un préconditionneur d'une matrice est une matrice telle que le conditionnement de est plus petit que celui de . Le préconditionnement est surtout utilisé dans les méthodes itératives pour la résolution d'un système linéaire (méthode du gradient, méthode du gradient conjugué, ...). Au lieu de résoudre, on préfère résoudre qui permet de diminuer considérablement le nombre d'itérations dans la méthode de résolution (itérative). On dit que le système est "mieux" conditionné.

Traduction automatique

La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Technologies de l'éducation

Les technologies de l'éducation (Edtech en anglais, pour Educational technology) désignent l'ensemble des nouvelles technologies permettant de faciliter l’enseignement et l'apprentissage. On parle alors de technologies pédagogiques qui permettent d'apprendre de nouveaux contenus sous une forme ludique, stimulante et innovante. Le terme Edtech, né de la contraction d'« éducation » et de « technologie », est apparu dans la littérature anglophone en 2010. Il est devenu populaire pour désigner les startups qui innovent au service de l'éducation.

Afficher plus

Séances de cours associées (52)

Structures dans l'optimisation non convexe

Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.

Techniques d'optimisation : Convexity in Machine Learning

Couvre les techniques d'optimisation dans l'apprentissage automatique, en se concentrant sur la convexité et ses implications pour une résolution efficace des problèmes.

Deep Learning Blocks Buildings

Couvre les tenseurs, les fonctions de perte, l'autograde et les couches de convolution dans l'apprentissage profond.

Optimisation des taux de convergence : Descente de gradient accélérée/stochastique

Couvre l'optimalité des taux de convergence dans les méthodes de descente en gradient accéléré et stochastique pour les problèmes d'optimisation non convexes.

Gradient Descent Methods: Théorie et calcul

Explore les méthodes de descente de gradient pour les problèmes convexes lisses et non convexes, couvrant les stratégies itératives, les taux de convergence et les défis d'optimisation.

Afficher plus

Concepts associés (32)

Optimisation (mathématiques)

Préconditionneur

Traduction automatique

Neural machine translation

Technologies de l'éducation

Afficher plus