Développement d’un player HTML5 / Javascript tactile visant à faciliter l’annotation de documents audiovisuels
Nom du Projet logiciel: TouchPlayer
Page web :
Code source :
Axe & tâche scientifique DigiCosme : DataSense
Porteur(s) du projet : Hervé Bredin
Nom & Prénom du Candidat : Benjamin MAURICE
Position: Doctorant
Email :maurice à limsi.fr
Laboratoire : LIMSI
École doctorale : ED STIC
Équipes impliquées : LIMSI TLP & ILES, CEA LIST, LTCI ADASP, SAMOVAR ARMERAI
Durée et dates de la mission : Janvier 2018 – Décembre 2019
Contexte :
Nombre de travaux des équipes de recherche de l’axe DataSense reposent sur des approches basée “apprentissage” qui nécessitent une phase préalable de collection et d’annotation (souvent manuelle) de données. En particulier, plusieurs équipes travaillent sur des données dites “multimédia” de type “vidéo”, “image”, ou “audio”. De nombreux outils existent permettant d’annoter ce type de contenu (Anvil, ELAN, …) mais reposent tous sur une interaction via la souris, qui peut rapidement devenir fastidieux quand il s’agit de détourer ou de suivre des objets.
Objectif :
Nous proposons de développer des interfaces tactiles visant à répondre à des besoins concrets des différents partenaires du projet, tout en veillant à ce que la base logicielle soit suffisament génériques pour être étendues à d’autres types d’annotations. Ce projet vise principalement les chercheurs (en multimédia, vision par ordinateur, etc.) dont les approches sont basées sur une phase d’apprentissage nécessitant des données audiovisuelles annotées. L’annotation tactile n’est évidemment pas limitée aux contenus audiovisuels et il sera intéressant de voir comment les nouveaux paradigmes d’annotation tactile qui en découleront pourraient être adaptés à l’annotation de texte ou d’enregistrement audio, par exemple. À plus long terme, nous avons l’ambition de proposer cet outil à des campagnes d’évaluation internationales (telles que MediaEval par exemple) et/ou de “crowdsourcing” collaboratif (un même échantillon étant présenté à plusieurs utilisateurs, il est alors possible de ne conserver que les annotations suffisamment congruentes).
Résultats attendus :
- Player vidéo HTML5 générique
- déclenchant des événements Javascript en réponse aux interactions tactiles (e.g. rotate, pinch, press, pan, tap, double-tap, swipe, etc.)
- affichant en sur-impression dans une couche SVG des annotations spatio-temporelles existantes (e.g. détourage de visage)
- Documentation (sur Github Pages) de son API * Interface web tactile basée sur ce player tactile permettant le découpage temporel de flux vidéo
- Interface web tactile basée sur ce player tactile permettant le suivi d’objets (e.g. visage) dans une vidéo
- Interface web tactile basée sur ce player tactile permettant le détourage d’objets dans une image
Plus-value apportée par ce financement :
Au travers de cette mission doctorale, l’étudiant pourra se familiariser avec de nombreuses nouvelles technologies très populaires dans le monde du développement web (Javascript, WebComponent, etc.) — ce qui sera un atout non négligeable pour le jeune chercheur qui vise une carrière industrielle. Ce financement permet aussi de pérenniser le travail effectué dans le projet Camomile et de relancer les activités d’annotation qui étaient en pause forcée depuis la fin du projet CHISTERA initial.