Une équipe franco-britannique a obtenu le 12 novembre une bourse européenne de 6,8 millions d’euros pour six ans. Son projet, ViSONIC, testera la capacité d’adultes et d’enfants à reconnaître des sons de la vie quotidienne à partir de formes, de couleurs et de mouvements.
À quoi ressemblerait le chant d’un oiseau si l’on voulait en montrer la hauteur et les variations à quelqu’un qui ne l’a jamais entendu ? Dessiner l’oiseau permet de nommer la source du son, mais renseigne peu sur le chant lui-même. Le projet ViSONIC part d’une autre idée : certaines propriétés du son pourraient être comprises à travers la vue, sans qu’il soit nécessaire d’apprendre un code.
Le Conseil européen de la recherche a retenu ce projet le 12 novembre dans son programme de bourses Synergy. Le financement de 6,8 millions d’euros sur six ans réunit les compétences de David Reby en bioacoustique à Saint-Étienne, d’Olivier Pascalis en psychologie du développement à Grenoble et de Julia Simner, spécialiste des perceptions sensorielles à l’université britannique du Sussex.
Un millier de représentations pour tester une intuition
Une note aiguë peut évoquer une petite forme claire ou un mouvement ascendant. De telles associations entre l’ouïe et la vue fournissent une piste pour représenter une ambiance sonore. Il reste à savoir lesquelles seront assez stables d’une personne à l’autre pour rendre reconnaissables aussi bien des pleurs qu’une sirène ou un chant.
L’équipe prévoit de combiner l’analyse acoustique, l’intelligence artificielle et des expériences de perception pour constituer une bibliothèque d’environ mille représentations. La difficulté sera de vérifier ce que les participants y perçoivent réellement. Une image jugée expressive par la personne qui l’a conçue pourrait rester énigmatique pour quelqu’un qui la découvre. C’est cette compréhension spontanée que les chercheurs veulent mettre à l’épreuve, explique le CNRS dans la présentation scientifique de ViSONIC.
L’expérience auditive aide-t-elle à comprendre l’image ?
Les essais associeront des personnes sourdes et entendantes, mais aussi des adultes, des enfants et des nourrissons. Comparer plusieurs âges permettra d’étudier à quel moment apparaissent les correspondances entre les sens. La participation de personnes ayant des expériences auditives différentes doit aider à distinguer les associations qui dépendent de la familiarité avec un son de celles qui pourraient être accessibles par la vue seule.
Un des usages envisagés est un babyphone visuel pour les parents sourds. Au-delà du signal indiquant que leur enfant pleure, un tel appareil pourrait chercher à rendre perceptibles les variations des pleurs à l’écran. L’Université Jean Monnet évoque aussi des jeux vidéo dans lesquels des informations habituellement transmises par le son seraient accessibles en silence. Ces applications restent à développer. Leur intérêt dépendra d’abord d’une question que les expériences doivent trancher : deux personnes qui découvrent la même forme en mouvement y reconnaissent-elles le même événement sonore ?



