Captation du geste (Chef 2.0)

CONTEXTE

Les méthodes les plus innovantes en matière de composition musicale introduisent aujourd’hui de nouveaux défis dans la manière d’écrire et de composer la musique. Mais il apparaît toujours une frustration dans le rendu final de la composition réalisée par informatique. C’est la raison pour laquelle la possibilité de diriger l’orchestre virtuel apparaît nécessaire.
La possibilité de contrôler le tempo d'un séquenceur est une question aujourd'hui facile à mettre en œuvre, tout comme l'analyse de la battue, geste fondamental du chef d’orchestre (temps forts, accents, occupation de l’espace) et le fait d’adapter un tempo en temps réel en fonction d’un utilisateur.
Mais, dans la plupart des cas, ces outils permettent à la machine de "suivre" un déroulement en temps réel, avec un effet de trainée sans grandes possibilités d’expression. Or le geste du chef d’orchestre est essentiellement un geste d’anticipation, avec une fonction de donneur d’ordre et d’invitation au jeu. Il s’agit alors de traduire des gestes en données Midi (pulsations) aux fins de pouvoir contracter ou dilater le temps musical préétabli sur une partition, un conducteur ou tout autre schéma.
Adapter la machine aux gestes du chef d'orchestre présente encore de nombreux défis et verrous à surmonter.

OBJECTIFS

Ce projet de recherche est une étape au sein d'un ensemble ambitieux. Il se concentre sur les trajectoires du geste du chef en intégrant au système (graveur, player, antescofo) les possibilités très larges du logiciel Gesture Follower développé par l’IRCAM.
Le projet s'attache à résoudre cinq points  :

• mieux expliciter le geste du chef d’orchestre, qui anticipe sur le déroulement temporel à venir, pour les entrer dans la machine
• trouver une méthode non invasive pour capter les intentions du chef
• traiter toute cette information en temps réel et à faire en sorte que les gestes captés du chef puissent transmettre directement l’information à un système ou à plusieurs systèmes à la fois – développement d’interfaces ou de langages web
• s'adapter à la personne (machine learning qui permet d’adapter le software à chaque utilisateur)
• introduire  la capacité pour la machine de reconnaître différents types de gestes, de manière absolue, afin de pouvoir créer une structure d’ordres, avec une bibliothèque associée

Ce projet de recherche, ambitieux et complexe, se déploie en trois étapes :

• Dans le cadre du projet « Le bureau du compositeur du XXI^e siècle », une (petite) partie était consacrée au pilotage du tempo d’une simulation d'orchestre par le compositeur à sa table à l’aide d’un bague connectée. Ce procédé fonctionne et n’est pas invasif, mais implique des gestes très appuyés qui n’ont que peu à voir avec ceux qui seraient ceux émanant d’un interprète.

• Cette deuxième étape, « Le chef 2.0 » (capter le geste du chef dans un espace virtuel) implique un patch XR tout à fait fonctionnel mais il implique que le chef porte un casque VR et qu’il pointe avec précision des objets dans l'espace virtuel produit afin de marquer la pulsation. Le dispositif a été montré mais reste trop invasif : il offre un petit gain en souplesse, mais perd en ergonomie.

• La troisième étape, déjà engagée, intègre des éléments de robotique et d’IA, en collaboration avec l’INRIA : multiplier les capteurs sur le corps du chef (une veste et ou des mitaines par exemple) afin de multiplier les sources et de pouvoir en faire la synthèse pour arriver à obtenir des données fiables utilisables en concert. Un premier test en situation de concert est prévu à Berlin le 11 mai 2024.

SUITE

La suite du projet est de pouvoir relier à une gestuelle tous les éléments scéniques (synchronisation des tops lumières, de la vitesse de défilement des vidéos, des mouvements de décors, time stretching des séquences audio, des effets sons, etc.), non seulement pour le spectacle vivant mais aussi la synchronisation à l’image des musique de films. le jeu vidéo par exemple.

Conférences

• Lors de la Semaine du Son Nice 2023 (20-29 janvier 2023), journée de présentations Son et Créativité Artistique le vendredi 27 janvier 2023 au Campus Georges Méliès (Université Côte d'Azur), Cannes

• Oceane Wandji, Shiho Yamada & Jonathan Bell (2023). Networked Music Performance in VR with PatchXR. Présentation lors de la deuxième journée d'études d'XR2C2 consacrée à la réalité étendue (XR : réalité virtuelle, réalité augmentée, réalité mixte, immersivité) au Campus Georges Méliès (Cannes), le 15 Mai 2023