Le projet ERC Advanced Grant G3S (Generative Spatial Synthesis of Sound and Music) aborde l’intelligence artificielle d’une manière originale, en la combinant à l’audio spatial. Loin des IA langagières de type ChatGPT qui sont fermées et sur-consommatrices de ressources, ce sont des IA frugales, locales et open source que nous allons développer pour générer des espaces sonores. Jusqu’à présent, la spatialisation a souvent été négligée dans l’application de l’IA à la musique et au son, alors que l’audio spatial 3D fait l’objet d’importants développements industriels et standardisations.
Le projet ERC G3S, conçu par et pour des musiciens et des créateurs de sons, va explorer des approches génératives de la spatialisation à base d’apprentissage machine. Ainsi, il tendra à sortir des standards qui formatent nos manières de créer ou percevoir la spatialité, en s’ouvrant à l’ensemble des manières et procédés de l’audio spatial.
Dans le cadre d’un réseau collaboratif international de recherche et de création, nous allons collecter un vaste ensemble de pièces musicales variées avec électronique particulièrement travaillées en termes d’espaces sonore : nous collecterons les moteurs sonores (représentés par les opérations sur le signal), les enregistrements multicanaux et les descriptions sémantiques de la spatialité ; nous entraînerons des modèles d’apprentissage de faible dimensionnalité, combinant des techniques neurales existantes. Ces modèles permettront de générer des espaces sonores et de les explorer par des demandes utilisateurs soit de type prompt (décrivant l’espace souhaité) soit fonctionnelles (décrivant les traitements souhaités) soit d’imitation d’un résultat audio. Les moteurs spatiaux générés pourront être exportés sous forme de plugins interopérables.
Pendant cinq ans, le projet G3S mettra en œuvre et articulera quatre grands objectifs de recherche :
- la conception d’une représentation opératoire unifiée des moteurs de spatialisation existants
- la proposition d’un thesaurus et de mesures quantitatives permettant de décrire la spatialité du son
- la génération d’espaces sonores à partir d’apprentissage machine
- la conception d’interfaces utilisateurs pour explorer l’audio spatial
Nous produirons des environnements open source, compatibles avec les standards audio et partagés avec la communauté de l’informatique musicale ; nous les évaluerons à l’occasion de commandes à des compositrices et compositeurs, des créations, des ateliers et des concerts.
Contacts
Principal Investigator
Alain Bonardi, professeur en informatique et création musicale à l’université Paris 8
Enseignant·es-chercheur·es
Anne Sèdes, professeure en composition et recherche
André Villa, maître de conférences à l’université Paris 8
Post-doctorant·es université Paris 8
Emma Frid
Axel Chemla-Romeu-Santos
Paul Goutmann
