Publication

Predicting emotional response to visual stimuli, a machine learning approach

2022
Student Projects

Résumé

We created an emotion predicting model capable of predicting emotions in images using OpenAI CLIP as a backbone. Using the ArtEmis dataset which contains 80K paintings annotated on the base of perceived emotions (amusement, fear, etc..). We show that this method of predicting emotion is effective, outperforming previous methods in predicting dominant emotion (70% vs 60%) or positive/negative images (80% vs 77.7%). We leverage our method on text emotion prediction which allows to quickly identify the reason why an image has a certain affect. With this method we unveil CLIP’s political preferences, and discovered a lean towards the democrats. We also created an affect based query tool that allows the users to search a set of pictures with a prompt as well as an emotion.

Source officielle

https://infoscience.epfl.ch/entities/publication/6e802fe3-cfde-4d32-bc6c-d8b515df4666

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

2022
Student Projects

Résumé

Source officielle

https://infoscience.epfl.ch/entities/publication/6e802fe3-cfde-4d32-bc6c-d8b515df4666

À propos de ce résultat

Concepts associés (32)

Émotion

thumb|upright=1.8|Roue des émotions de Robert Plutchik.|alt= L'émotion est une expérience psychophysiologique complexe et intense (avec un début brutal et une durée relativement brève) de l'état d'esprit d'un individu animal liée à un objet repérable lorsqu'il réagit aux influences biochimiques (internes) et environnementales (externes). Chez les humains, l'émotion inclut fondamentalement « un comportement physiologique, des comportements expressifs et une conscience ».

Émotion (zoologie)

vignette|Un dessin d'un chat par T. W. Wood dans le livre de Charles Darwin, The Expression of the Emotions in Man and Animals, décrit comme agissant «dans un état d'esprit affectueux» L'émotion en zoologie désigne les sentiments et émotions subjectifs éprouvés par des animaux non-humains. Les émotions peuvent être décrites comme des états conscients, subjectifs caractérisés premièrement par les expressions psychophysiologiques, les réactions biologiques, et les états mentaux.

Emotion recognition

Emotion recognition is the process of identifying human emotion. People vary widely in their accuracy at recognizing the emotions of others. Use of technology to help people with emotion recognition is a relatively nascent research area. Generally, the technology works best if it uses multiple modalities in context. To date, the most work has been conducted on automating the recognition of facial expressions from video, spoken expressions from audio, written expressions from text, and physiology as measured by wearables.

Afficher plus

Publications associées (2)

Predicting emotional response to visual stimuli, a machine learning approach

Chattez avec Graph Search

Facial Expressions Evaluation Survey

Recognition of Asymmetric Facial Action Unit Activities and Intensities