Publication

Elucidating the Hierarchical Nature of Behavior with Masked Autoencoders (BehaveMAE & Shot7M2)

2024

Résumé

Elucidating the Hierarchical Nature of Behavior with Masked Autoencoders

Authors: Lucas Stoffl, Andy Bonnetto, Stéphane D'Ascoli & Alexander Mathis

Affiliation: Ecole Polytechnique de Lausanne (EPFL)

Date: 25/09/2024

Link to the BiorXiv article : https://doi.org/10.1101/2024.08.06.606796

Provided data (hBehaveMAE checkpoints)

We provide a collection of pre-trained models that were reported in our paper, allowing you to reproduce our results for MABe22, hBABEL and Shot7M2 datasets.

Note that you can download Shot7M2 on HuggingFace and generate hBABEL by following the instructions on the github page.

hBehaveMAE_hBABEL.pth : checkpoint for the hBehaveMAE pre-trained on the hBABEL dataset

hBehaveMAE_Shot7M2.pth : checkpoint for the hBehaveMAE pre-trained on the Shot7M2 dataset

hBehaveMAE_MABe22.pth: checkpoint for the hBehaveMAE pre-trained on the MABe22 dataset

References

If you find our code, weights or ideas useful, please cite:

@article {Stoffl2024hBehaveMAE, author = {Stoffl, Lucas and Bonnetto, Andy and d{\textquoteright}Ascoli, St{'e}phane and Mathis, Alexander}, title = {Elucidating the Hierarchical Nature of Behavior with Masked Autoencoders}, elocation-id = {2024.08.06.606796}, year = {2024}, doi = {10.1101/2024.08.06.606796}, publisher = {Cold Spring Harbor Laboratory}, URL = {https://www.biorxiv.org/content/early/2024/08/08/2024.08.06.606796}, eprint = {https://www.biorxiv.org/content/early/2024/08/08/2024.08.06.606796.full.pdf}, journal = {bioRxiv}}

Source officielle

https://infoscience.epfl.ch/entities/publication/9d0133ea-976a-4b72-b543-2227631b81cf

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

2024

Résumé

Elucidating the Hierarchical Nature of Behavior with Masked Autoencoders

Authors: Lucas Stoffl, Andy Bonnetto, Stéphane D'Ascoli & Alexander Mathis

Affiliation: Ecole Polytechnique de Lausanne (EPFL)

Date: 25/09/2024

Link to the BiorXiv article : https://doi.org/10.1101/2024.08.06.606796

Provided data (hBehaveMAE checkpoints)

We provide a collection of pre-trained models that were reported in our paper, allowing you to reproduce our results for MABe22, hBABEL and Shot7M2 datasets.

Note that you can download Shot7M2 on HuggingFace and generate hBABEL by following the instructions on the github page.

hBehaveMAE_hBABEL.pth : checkpoint for the hBehaveMAE pre-trained on the hBABEL dataset

hBehaveMAE_Shot7M2.pth : checkpoint for the hBehaveMAE pre-trained on the Shot7M2 dataset

hBehaveMAE_MABe22.pth: checkpoint for the hBehaveMAE pre-trained on the MABe22 dataset

References

If you find our code, weights or ideas useful, please cite:

Source officielle

https://infoscience.epfl.ch/entities/publication/9d0133ea-976a-4b72-b543-2227631b81cf

À propos de ce résultat

Concepts associés (32)

Grand modèle de langage

Un grand modèle de langage, grand modèle linguistique, grand modèle de langue, modèle massif de langage ou encore modèle de langage de grande taille (LLM, pour l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement de l'ordre du milliard de poids ou plus). Ce sont des réseaux de neurones profonds entraînés sur de grandes quantités de texte non étiqueté utilisant l'apprentissage auto-supervisé ou l'apprentissage semi-supervisé.

Neural machine translation

Neural machine translation (NMT) is an approach to machine translation that uses an artificial neural network to predict the likelihood of a sequence of words, typically modeling entire sentences in a single integrated model. They require only a fraction of the memory needed by traditional statistical machine translation (SMT) models. Furthermore, unlike conventional translation systems, all parts of the neural translation model are trained jointly (end-to-end) to maximize the translation performance.

Transformeur

vignette|Schéma représentant l'architecture générale d'un transformeur. Un transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à trouver une application en matière de vision par ordinateur par la création des vision transformers (ViT).

Afficher plus

Publications associées (28)

Afficher plus

Elucidating the Hierarchical Nature of Behavior with Masked Autoencoders (BehaveMAE & Shot7M2)

Chattez avec Graph Search

The embodied brain: Bridging the brain, body, and behavior with biorealistic neuromechanical models

Large language models as uncertainty-calibrated optimizers for experimental discovery

Compressing DNNs Using Microscaling Formats with Sensitivity and Sparsity