Séance de cours

Compression du modèle: Techniques pour des modèles NLP efficaces

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours sur la compression des modèles dans les NLP modernes couvre diverses techniques telles que la taille, la quantification, la factorisation du poids, le partage du poids, la distillation des connaissances et les transformateurs sub-quadratiques. Il traite des défis des grands modèles de langage, des avantages des modèles de compression et de l'impact sur l'empreinte mémoire et le temps d'inférence. La séance de cours explore également le concept de distillation des connaissances, en tirant parti des étiquettes douces pour les modèles étudiants, et l'importance des mécanismes d'attention dans les modèles de transformateurs.

Source officielle

Proximité ontologique

Information engineering

Traitement du signal: Compression de données

Concepts associés (32)

Algorithme de compression sans perte

vignette|Comparaison de la compression d'image entre les formats JPG (à gauche) et PNG (à droite). PNG utilise une compression sans perte. On appelle algorithme de compression sans perte toute procédure de codage ayant pour objectif de représenter une certaine quantité d'information en utilisant ou en occupant un espace plus petit, permettant ainsi une reconstruction exacte des données d'origine. C'est-à-dire que la compression sans perte englobe les techniques permettant de générer un duplicata exact du flux de données d'entrée après un cycle de compression/expansion.

Compression de données

La compression de données ou codage de source est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. Celle-ci est l'opération inverse de la décompression.

Lossy compression

In information technology, lossy compression or irreversible compression is the class of data compression methods that uses inexact approximations and partial data discarding to represent the content. These techniques are used to reduce data size for storing, handling, and transmitting content. The different versions of the photo of the cat on this page show how higher degrees of approximation create coarser images as more details are removed. This is opposed to lossless data compression (reversible data compression) which does not degrade the data.

Compression artifact

A compression artifact (or artefact) is a noticeable distortion of media (including , audio, and video) caused by the application of lossy compression. Lossy data compression involves discarding some of the media's data so that it becomes small enough to be stored within the desired or transmitted (streamed) within the available bandwidth (known as the data rate or bit rate). If the compressor cannot store enough data in the compressed version, the result is a loss of quality, or introduction of artifacts.

Compression d'image

La compression d'image est une application de la compression de données sur des . Cette compression a pour utilité de réduire la redondance des données d'une image afin de pouvoir l'emmagasiner sans occuper beaucoup d'espace ou la transmettre rapidement. La compression d'image peut être effectuée avec perte de données ou sans perte. La compression sans perte est souvent préférée là où la netteté des traits est primordiale : schémas, dessins techniques, icônes, bandes dessinées.

Afficher plus

Séances de cours associées (64)

Compression des signaux neuraux

Explore la conversion analogique-numérique, l'optimisation du signal neuronal, les architectures multicanaux et les techniques de compression sur puce en neuroingénierie.

Techniques de compression de modèle : Améliorer les réseaux neuronaux

Couvre les techniques de compression des modèles pour améliorer l'efficacité des grands modèles de langage dans les paramètres de production.

Compression du modèle de deuxième commande

Explore la compression du modèle de deuxième ordre pour les réseaux neuronaux profonds massifs, montrant les techniques de compression et leur impact sur la précision du modèle.

JPEG 2000: Compression d'image

Explore les principes de compression d'images, en se concentrant sur JPEG 2000, couvrant le codage basé sur la transformation, la quantification, le codage entropie, la région d'intérêt, la résilience aux erreurs et les implémentations logicielles.

Compression MP3

Explore l'encodage MP3, en mettant l'accent sur la réduction des bits par compression perdue et en utilisant des modèles psycho-acoustiques pour un filtrage et une quantification efficaces.

Afficher plus

Concepts associés (32)

Algorithme de compression sans perte

Compression de données