Publication

Who's Doing What: Joint Modeling of Names and Verbs for Simultaneous Face and Pose Annotation

2009
Conference Papers

Résumé

Given a corpus of news items consisting of images accompanied by text captions, we want to find out “who’s doing what”, i.e. associate names and action verbs in the captions to the face and body pose of the persons in the images. We present a joint model for simultaneously solving the image-caption correspondences and learning visual appearance models for the face and pose classes occurring in the corpus. These models can then be used to recognize people and actions in novel images without captions. We demonstrate experimentally that our joint ‘face and pose’ model solves the correspondence problem better than earlier models covering only the face, and that it can perform recognition of new uncaptioned images.

Source officielle

https://infoscience.epfl.ch/entities/publication/00c8a8d9-d8d3-4c1b-bfe5-706f782ac5ff

À propos de ce résultat

Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.

Graph Chat

Chattez avec Graph Search

Posez n’importe quelle question sur les cours, conférences, exercices, recherches, actualités, etc. de l’EPFL ou essayez les exemples de questions ci-dessous.

AVERTISSEMENT : Le chatbot Graph n'est pas programmé pour fournir des réponses explicites ou catégoriques à vos questions. Il transforme plutôt vos questions en demandes API qui sont distribuées aux différents services informatiques officiellement administrés par l'EPFL. Son but est uniquement de collecter et de recommander des références pertinentes à des contenus que vous pouvez explorer pour vous aider à répondre à vos questions.

2009
Conference Papers

Résumé

Source officielle

https://infoscience.epfl.ch/entities/publication/00c8a8d9-d8d3-4c1b-bfe5-706f782ac5ff

À propos de ce résultat

Concepts associés (32)

Verbe

Le verbe (du latin verbum : mot, verbe) constitue avec le nom la catégorie de mots ou partie du discours principale de toute langue. La tradition grammaticale présente le verbe en opposition au nom à cause de sa capacité d'exprimer un procès, en traduisant une action accomplie ( Il regarde un film) ou subie par le sujet ( Il a été déçu par ce film), ou un état ( Il est satisfait) ou des modifications du sujet ( Il a changé d'avis).

Image

Une image est une représentation visuelle, voire mentale, de quelque chose (objet, être vivant ou concept). Elle peut être naturelle (ombre, reflet) ou artificielle (sculpture, peinture, photographie), visuelle ou non, tangible ou conceptuelle (métaphore), elle peut entretenir un rapport de ressemblance directe avec son modèle ou au contraire y être liée par un rapport plus symbolique. Pour la sémiologie ou sémiotique, qui a développé tout un secteur de sémiotique visuelle, l'image est conçue comme produite par un langage spécifique.

Verbe à particule

Un verbe à particule est un mot composé constitué d'un verbe de base associé à un élément d'origine non verbale (la « particule ») qui en complète ou en modifie le sens. La particule peut tirer son origine d'un adverbe ou d'une adposition, moins souvent d'un nom ou d'un adjectif. Les verbes à particule sont particulièrement typiques de la grammaire des langues germaniques, bien qu'ils ne soient pas limités à cette famille de langues. L'allemand et le néerlandais se caractérisent par des règles complexes qui régissent la position de la particule dans la proposition.

Afficher plus

Publications associées (18)

Afficher plus

Who's Doing What: Joint Modeling of Names and Verbs for Simultaneous Face and Pose Annotation

Chattez avec Graph Search

Don't Stop Pretraining! Efficiently Building Specialised Language Models in Resource-constrained Settings.

On the Generation of Face Morphs by Inversion of Optimal Morph Embeddings

TopoTome: Topology-informed unsupervised segmentation and analysis of 3D images