Séance de cours

Réactions chimiques : Architecture des transformateurs

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

Dans cours

PHYS-754: Lecture series on scientific machine learning

This lecture presents ongoing work on how scientific questions can be tackled using machine learning. Machine learning enables extracting knowledge from data computationally and in an automatized way. We will learn on examples how this is influencing the v ...

Description

Cette séance de cours couvre le concept de cartographie des atomes dans les réactions chimiques, l'architecture du transformateur et la transition du transformateur moléculaire à la grammaire des réactions. Il traite de l'ensemble de données de la réaction SMILES, de la découverte et de l'utilisation des transformateurs pour capter la grammaire cachée des réactions, et de la comparaison avec d'autres outils en termes d'exactitude et de performance.

Enseignant·e·s (10)

Michele Ceriotti

Michele Ceriotti received his Ph.D. in Physics from ETH Zürich in 2010. He spent three years in Oxford as a Junior Research Fellow at Merton College. Since 2013 he leads the laboratory for Computational Science and Modeling in the Institute of Materials at EPFL. His research revolves around the atomic-scale modelling of materials, based on the sampling of quantum and thermal fluctuations and on the use of machine learning to predict and rationalize structure-property relations. He has been awarded the IBM Research Forschungspreis in 2010, the Volker Heine Young Investigator Award in 2013, an ERC Starting Grant in 2016, and the IUPAP C10 Young Scientist Prize in 2018.

David Richard Harvey

Enseignement et PhD Doctorant·es actuel·les Ethan Daniel Tregidga, Felix Francisco Vecchi Cours Lecture series on scientific machine learning PHYS-754 Ce cours présente des travaux sur la façon dont les questions scientifiques peuvent être abordées à l'aide de l'apprentissage automatique. L'apprentissage automatique permet d'extraire des connaissances à partir de données de manière automatisée. Nous apprendrons à partir d'exemples concrets.

Matthieu Wyart

Enseignement et PhD A dirigé les thèses EPFL de Riccardo Ravasio, Mario Geiger, Wencheng Ji, Leonardo Petrini, Umberto Maria Tomasini, Alessandro Favero Cours Systèmes complexes PHYS-343 Ce cours montre comment des concepts physiques connus (entropie, transitions de phase) et nouveaux (verres, percolation, réaction de type avalanche) peuvent être utilisés dans divers domaines (y compris l'informatique, les neurosciences, les sciences sociales).

Anne-Florence Raphaëlle Bitbol

I was trained in physics, and always had a strong interest in biology. I am broadly interested in understanding biological phenomena in a quantitative way, through physical concepts and mathematical and computational tools. I investigate the relative impacts of optimization and historical contingency in biological evolution, both at the scale of protein sequences and at the scale of microbial populations.Here is my research group website.Curriculum vitae Here is my complete CV. Professional experience:Since

Source officielle

Concepts associés (32)

Réseau de neurones récurrents

Un réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Réseau de neurones artificiels

Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.

Neural network

A neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.

Apprentissage de représentations

En apprentissage automatique, l'apprentissage des caractéristiques ou apprentissage des représentations est un ensemble de techniques qui permet à un système de découvrir automatiquement les représentations nécessaires à la détection ou à la classification des caractéristiques à partir de données brutes. Cela remplace l'ingénierie manuelle des fonctionnalités et permet à une machine d'apprendre les fonctionnalités et de les utiliser pour effectuer une tâche spécifique.

Afficher plus

Séances de cours associées (64)

Amélioration des modèles du chemin visuel ventral

Explore les modèles de calcul du système visuel ventral, en se concentrant sur l'optimisation des réseaux pour les tâches réelles et la comparaison avec les données cérébrales.

Modèles de langage: De la théorie à l'informatique

Explore les mathématiques des modèles de langues, couvrant la conception de l'architecture, la pré-formation et l'ajustement fin, soulignant l'importance de la pré-formation et de l'ajustement fin pour diverses tâches.

Séquence à modèles de séquence: vue d'ensemble et applications

Couvre les modèles de séquence à séquence, leur architecture, leurs applications et le rôle des mécanismes d'attention dans l'amélioration des performances.

Introduction à l'apprentissage automatique

Fournit un aperçu de l'apprentissage automatique, y compris le contexte historique, les tâches clés, et les applications du monde réel.

Introduction à l'apprentissage automatique

Introduit des concepts d'apprentissage automatique, des bases aux réseaux neuronaux avancés.

Afficher plus

Concepts associés (32)

Réseau de neurones récurrents

Transformeur

Réseau de neurones artificiels

Neural network

Apprentissage de représentations

Afficher plus