Capture des gestes musicaux, modèles et expériences (Cap-Gemme)

En quelques mots

Le projet Cap-Gemme s’intéresse à la capture et à la conservation des gestes experts dans le cadre musical, pour réaliser des études comparatives de techniques de jeu et de performances augmentées.

Projet de recherche de l'Axe 3

DATE : 2024

RESPONSABLE : Jean-François Trubert, CTELA, EUR CRÉATES

DISCIPLINES : musicologie, musique, informatique

MOTS-CLÉS : motion capture, geste, Interprétation musicale, streaming, réalité virtuelle

Description du projet


CONTEXTE

La motion capture (Mocap - dispositif de capture du mouvement) est devenue incontournable dans l'étude des gestes musicaux, permettant un relevé précis des mouvements. Peu de démarches comparatives ont été entreprises pour saisir la totalité des mouvements en passant d’un contexte «traditionnel» au contexte numérique et/ou électronique.
Les équipements du centre de référence IdEx XR2C2 permettent d’analyser les mouvements du corps avec une grande précision, sauf en ce qui concerne les mains et les mouvements de doigts. Cette captation fine faite au niveau des mains de l’interprète doit compléter les études précédentes sur le geste musical, en particulier au niveau de la rétroaction instrument électronique-musicien.
 

OBJECTIFS

L’objectif du projet Cap-Gemme est de procéder à une capture et à une conservation de gestes dits « experts » dans le cadre musical, puis dans un cadre artistique plus large (en s'intéressant tant à la question patrimoniale qu'à la création).
 

MÉTHODE

La méthodologie envisagée repose sur le principe de motion capture grâce à des gants équipés servant à la captation, qui permettent de réaliser des mesures fines des mouvements de la main et des doigts, équipement connecté au système en place dans le Creative Lab (Centre de référence XR2C2).

  1. - Analyse du jeu instrumental (acoustique et électronique) de musiciens experts

  2. - Développement d’une interface web et de réalité virtuelle pour diffusion en ligne en direct

  3. - Développement d’objets de composition pour le dispositif « Pré » (haut-parleurs connectés)

Différents travaux sont menés en relation avec la gestuelle musicale, sa compréhension et son augmentation : étude de variations gestuelles de l’instrumentiste/performeur selon l’assignation des paramètres du timbre aux contrôles de l’instrument, streaming et VR à destination du public, performance mettant en œuvre un orchestre de haut-parleurs.
 

Interdisciplinarité et partenariats

Cette recherche prolonge différents projets soutenus par l'IdEx : le projet Pré (dispositif de haut-parleurs connectés) et le projet MPEI (Multidimentional Polyphonic Expressive Instruments), en permettant leur valorisation, et leur développement dans une nouvelle direction scientifique et technique.
Elle associe des disciplines liées à l'art (interprétation et création musicales) et sciences (informatique, électronique).
 

RESPONSABLE DU PROJET

  • Jean-François Trubert, professeur des universités en musicologie, CTELA (Centre Transdisciplinaire d'Épistémologie de la Littérature et des Arts vivants), chargé de mission Industries culturelles et créatives à Université Côte d’Azur, responsable scientifique associé du projet ANR GEMME (Geste et Musique : modèles et expériences) coordonné par l’IRCAM (Institut de Recherche et Coordination Acoustique/Musique)

CHERCHEURS ET LABORATOIRES PARTENAIRES

  •  CTELA - Jean-François Trubert, Julie Mansion-Vaquié, Charles Meyer

  •  Centre de référence XR2C2 (Campus Méliès à Cannes)

  •  Conservatoire Régional de Région de Nice (projet MPEI) - Gaël Navard

  •  Laboratoire I3S (Informatique-Signaux-Systèmes de Sophia Antipolis) - Michel Buffa

capgemme logos01
capgemme logos01

Résultats et valorisation


Les protocoles obtenus permettent de développer des méthodologies applicables pour le projet d’établissement liée au PEPR CNRS d’accélération ICCARE (Industries culturelles et créatives: action, recherche, expérimentation), notamment d'appliquer cette capture des gestes experts dans le domaine artisanal (lutherie, verre, céramique), voire professionnel.
 

Publications
  • À venir