Perception du Regard et Inférences Sociales par Méthodes Expérimentales - PRISME

CONTEXTE

Ce projet en particulier s’appuie sur un travail particulièrement solide mené pendant huit mois par un étudiant de M1 dans le cadre de son mémoire. En collaboration avec l’équipe STARS de l’INRIA, l’étudiant a identifié et testé des bibliothèques de vision par ordinateur (OpenCV, Mediapipe…) et développé un premier algorithme de segmentation automatique, capable de détecter différentes zones visuelles (visage, yeux, bouche, corps, arrière-plan) image par image. Ce premier travail s’est concentré sur l’étude d’une tâche spécifique du protocole expérimental : une vidéo de 20 minutes issue du Movie for the Assessment of Social Cognition (MASC), découpée en 45 clips, chacun suivi d’une question évaluant la capacité d’inférence sociale (Théorie de l’Esprit).
L’originalité du projet réside dans l’utilisation de scènes vidéo naturalistes pour explorer les mécanismes de la cognition sociale, une approche encore rare mais prometteuse en psychologie et en économie expérimentale. Couplée à des dispositifs comme les lunettes d’eye-tracking disponibles au CoCoLab, cette méthodologie ouvre des perspectives concrètes pour des recherches écologiquement valides, avec un fort potentiel de diffusion dans notre communauté expérimentale.

OBJECTIFS

Ce projet de recherche vise à finaliser un travail interdisciplinaire innovant, articulé autour d’une étude expérimentale conduite au CoCoLab depuis près de deux ans, avec la contribution scientifique conjointe de doctorants (GREDEG) et de 6 étudiants de master (M1–M2) en économie comportementale (ELMI), psychologie cognitive (NeuroMod) et sciences des données (DS4H). Les données collectées proviennent de sessions expérimentales menées auprès de participants ayant réalisé individuellement une série de tâches impliquant le visionnage de scènes vidéo et la réalisation de choix, permettant de recueillir simultanément des données physiologiques (rythme cardiaque, conductance) et oculométriques (eye-tracking). Les objectifs principaux du projet sont :
Objectif scientifique
Examiner si les individus dotés d’une théorie de l’esprit plus développée orientent davantage leur attention visuelle vers des zones clés des scènes (visages, regards) par rapport aux éléments secondaires.
Objectif technique et méthodologique
Finaliser un pipeline de segmentation automatique et semantique des vidéos à l’aide d’algorithmes de computer vision et de machine learning, afin de croiser ces données avec les trajectoires oculaires et identifier précisément les zones d’intérêt visuel.
Objectif pédagogique
Accompagner un étudiant particulièrement méritant dans la consolidation de compétences clés (vision par ordinateur, analyse comportementale, recherche interdisciplinaire), et valoriser son travail dans un cadre scientifique structurant.

MÉTHODE

Les méthodologies mobilisées dans ce projet sont interdisciplinaires et combinent : d’une part, la computer vision, le machine learning, et d’autre part, l’approche expérimentale en économie comportementale et en psychologie cognitive. Des aspects clés du projet incluent :

• des approches avancées de computer vision pour la segmentation automatique des scènes visuelles, ainsi que l’utilisation de bibliothèques spécialisées pour exploiter les données d’eyetracking, permettant d’enregistrer avec précision les trajectoires oculaires des participants ;
• l’application d’algorithmes et de bibliothèques d’intelligence artificielle pour le traitementautomatisé et l’analyse sémantique de contenus vidéo, en vue d’extraire des informations visuelles structurées telles que les visages, les parties du corps, ou encore les éléments de fond;
• des protocoles expérimentaux issus de l’économie comportementale et de la psychologie cognitive, permettant d’évaluer des compétences telles que la théorie de l’esprit ou la compréhension sociale en contexte dynamique.

Cette combinaison méthodologique permet d’examiner de manière fine et automatisée la manière dont les individus perçoivent et interprètent des scènes complexes, en croisant les données visuelles (zones regardées) avec des réponses cognitives ou comportementales.

 

RESPONSABLE DU PROJET

AUTRES PARTENAIRES UNICA

CoCoLab, MSHS

Publications

À venir

Conférences

Diffusion de la recherche

ANR et autres financements