Séance de cours

Élargissement des modèles de langage

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Description

Cette séance de cours porte sur l'échelle des modèles linguistiques, sur les défis et les avantages de la formation et sur le déploiement de grands modèles. Il explore l'évolution de la taille des modèles au fil des ans, l'incidence de la taille des modèles sur la performance et les compromis entre la taille des modèles, la taille des données et les ressources de calcul. L'instructeur souligne l'importance des lois d'échelle pour estimer la taille optimale des modèles et des ensembles de données pour un budget de calcul fixe.

Source officielle

Concepts associés (25)

Maquette

Une maquette est une représentation partielle ou complète d'un système ou d'un objet (existant ou en projet) afin d'en tester et valider certains aspects et/ou le comportement (maquette fonctionnelle), ou simplement à des fins ludiques (maquette de jeu) ou informatives (présentation pédagogique ou commerciale d'une réalisation ou d'un projet). La maquette peut être réalisée en deux ou trois dimensions, à une échelle donnée, le plus souvent réduite ou agrandie pour en faciliter la visualisation ou la manipulation.

Échelles de modélisme ferroviaire

Rail transport modelling uses a variety of scales (ratio between the real world and the model) to ensure scale models look correct when placed next to each other. Model railway scales are standardized worldwide by many organizations and hobbyist groups. Some of the scales are recognized globally, while others are less widespread and, in many cases, virtually unknown outside their circle of origin. Scales may be expressed as a numeric ratio (e.g. 1/87 or 1:87) or as letters defined in rail transport modelling standards (e.

Performances (informatique)

En informatique, les performances énoncent les indications chiffrées mesurant les possibilités maximales ou optimales d'un matériel, d'un logiciel, d'un système ou d'un procédé technique pour exécuter une tâche donnée. Selon le contexte, les performances incluent les mesures suivantes : Un faible temps de réponse pour effectuer une tâche donnée Un débit élevé (vitesse d'exécution d'une tâche) L'efficience : faible utilisation des ressources informatiques : processeur, mémoire, stockage, réseau, consommation électrique, etc.

Cloud computing

Le cloud computing , en français l'informatique en nuage (ou encore l'infonuagique au Canada), est la pratique consistant à utiliser des serveurs informatiques à distance et hébergés sur internet pour stocker, gérer et traiter des données, plutôt qu'un serveur local ou un ordinateur personnel. Les principaux services proposés en cloud computing sont le SaaS (Software as a Service), le PaaS (Platform as a Service) et le IaaS (Infrastructure as a Service) ou le MBaaS ().

Performance engineering

Performance engineering encompasses the techniques applied during a systems development life cycle to ensure the non-functional requirements for performance (such as throughput, latency, or memory usage) will be met. It may be alternatively referred to as systems performance engineering within systems engineering, and software performance engineering or application performance engineering within software engineering.

Afficher plus

Séances de cours associées (16)

Correction de l'informatique sans serveur avec le matériel Open-Source

Explore les défis et les solutions dans l'informatique sans serveur, en mettant l'accent sur l'utilisation de l'énergie, l'utilisation du cloud, l'architecture FaaS et l'analyse des performances.

Modèles Vision-Langue-Action : Formation et applications

Se penche sur la formation et les applications des modèles Vision-Language-Action, en mettant l'accent sur le rôle des grands modèles linguistiques dans le contrôle robotique et le transfert des connaissances web. Les résultats des expériences et les orientations futures de la recherche sont mis en évidence.

Comprendre la menace du stéréotype

S'insère dans la menace stéréotypée et son impact sur la performance en raison de la crainte de confirmer les stéréotypes.

Menace de stéréotype : effets et atténuation

S'interroge sur la façon dont les stéréotypes négatifs peuvent influer sur le rendement et sur les stratégies proposées pour atténuer ces effets.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Afficher plus

Concepts associés (25)

Maquette

Échelles de modélisme ferroviaire

Performances (informatique)

Cloud computing

Performance engineering

Afficher plus