Séance de cours

Optimisation adaptative efficace de la mémoire

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours porte sur l'optimisation adaptative efficace en mémoire pour l'apprentissage à l'échelle humungique, en mettant l'accent sur le travail en commun avec Rohan Anil, Tomer Koren et Vineet Gupta. Les sujets comprennent l'apprentissage profond non linéaire, l'optimisation convexe et les techniques de préconditionnement. L'instructeur discute des défis posés par les frais généraux de mémoire dans la formation de grands modèles et les applications pratiques des méthodes de régularisation adaptative.

Source officielle

Concepts associés (32)

Optimisation (mathématiques)

L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.

Traduction automatique

La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Technologies de l'éducation

Les technologies de l'éducation (Edtech en anglais, pour Educational technology) désignent l'ensemble des nouvelles technologies permettant de faciliter l’enseignement et l'apprentissage. On parle alors de technologies pédagogiques qui permettent d'apprendre de nouveaux contenus sous une forme ludique, stimulante et innovante. Le terme Edtech, né de la contraction d'« éducation » et de « technologie », est apparu dans la littérature anglophone en 2010. Il est devenu populaire pour désigner les startups qui innovent au service de l'éducation.

Statistical machine translation

Statistical machine translation (SMT) was a machine translation approach, that superseded the previous, rule-based approach because it required explicit description of each and every linguistic rule, which was costly, and which often did not generalize to other languages. Since 2003, the statistical approach itself has been gradually superseded by the deep learning-based neural network approach. The first ideas of statistical machine translation were introduced by Warren Weaver in 1949, including the ideas of applying Claude Shannon's information theory.

Afficher plus

Séances de cours associées (64)

Le paysage d'optimisation de Convex caché des réseaux neuronaux profonds

Explore le paysage d'optimisation convexe caché des réseaux neuronaux profonds, montrant la transition des modèles non convexes aux modèles convexes.

Structures dans l'optimisation non convexe

Couvre l'optimisation non convexe, les problèmes d'apprentissage profond, la descente stochastique des gradients, les méthodes d'adaptation et les architectures réseau neuronales.

Méthodes d'optimisation dans l'apprentissage automatique

Explore les méthodes d'optimisation dans l'apprentissage automatique, en mettant l'accent sur les gradients, les coûts et les efforts informatiques pour une formation efficace des modèles.

Réseaux profonds et convolutifs : généralisation et optimisation

Explore les réseaux profonds et convolutifs, couvrant la généralisation, l'optimisation et les applications pratiques dans l'apprentissage automatique.

Descente au gradient : principes et applications

Couvre la descente de gradient, ses principes, ses applications et ses taux de convergence en optimisation pour l'apprentissage automatique.

Afficher plus

Concepts associés (32)

Optimisation (mathématiques)

Traduction automatique

Neural machine translation

Technologies de l'éducation

Statistical machine translation

Afficher plus