Les chercheurs Mark Sheinin (à gauche) et Dorian Chan avec leur remarquable microphone optique, qui est capable de construire un signal sonore de haute-fidélité à partir d’instruments individuels jouant en groupe.
Des chercheurs de l’université Carnegie Mellon ont présenté un son remarquable produit par un nouveau système de microphone optique qui utilise des caméras pour voir et reconstruire les vibrations sonores. Il est remarquable de constater qu’il peut séparer proprement un instrument unique jouant en groupe.
Ce type d’isolation sonore est extrêmement difficile à réaliser, même pour les microphones audio haut de gamme, alors pouvoir y parvenir en utilisant seulement deux caméras et un laser ? Cela ressemble un peu à de la magie noire. Mais les résultats, que vous pouvez voir dans la vidéo intégrée à la fin de cet article, sont stupéfiants.
Voici la théorie de base : le son n’est rien d’autre qu’une série d’ondes de pression qui se propagent dans l’air. Tout ce qui produit un son vibre simplement pour créer ces ondes de pression. Un microphone optique est en fait un système de caméra conçu pour surveiller et interpréter les vibrations à la surface d’une source sonore – ou même des objets placés près d’une source sonore, qui vibrent en sympathie avec les ondes sonores dans l’air qui les entoure.
Le système de l’équipe de Carnegie Mellon fait briller un laser sur la surface vibrante, créant un motif de chatoiement précis qui se déforme au fur et à mesure que la source sonore vibre. Une paire de caméras enregistre les changements dans le motif de chatoiement à 63 images par seconde, et un algorithme logiciel est utilisé pour analyser les variations du motif de chatoiement dans les séquences des deux caméras, et reconstruire un signal audio.
Un laser place un motif de chatoiement sur la source sonore, et les caméras suivent les variations de ce motif.
La fréquence d’images de 63 images par seconde peut sembler contre-intuitive ; l’ouïe humaine peut distinguer des tons oscillant entre 20 et 20 000 cycles par seconde, donc, sans tenir compte de tous les autres défis, une limite de 63 images par seconde sur les données d’entrée semble placer une limite supérieure de 63 Hz sur le son que ce dispositif peut « voir ».
Ce n’est pas le cas. En effet, ce micro optique peut lire le son jusqu’à une fréquence remarquable de 63 000 Hz grâce à une utilisation très intelligente des caméras impliquées. L’une des caméras utilise un obturateur global, ce qui signifie qu’elle lit l’intégralité de son capteur d’image en même temps pour chaque image. L’autre caméra utilise un obturateur roulant, c’est-à-dire qu’elle lit son capteur comme une série de mille lignes horizontales consécutives par image. L’image de l’obturateur roulant contient donc des informations à haute fréquence, qui peuvent être comparées à l’image de l’obturateur global pour tenir compte d’éléments tels que le mouvement et l’inclinaison d’une guitare lorsqu’un musicien joue, et l’algorithme du logiciel est suffisamment intelligent pour assembler un son à partir de ces informations.
L’algorithme du logiciel est suffisamment intelligent pour assembler un son à partir de ces informations. « Nous avons inventé une nouvelle façon de voir le son », a déclaré Mark Sheinin, auteur principal de l’article de recherche et associé de recherche post-doctorale au Illumination and Imaging Laboratory de l’Institut de robotique de Carnegie Mellon. « C’est un nouveau type de système de caméra, un nouveau dispositif d’imagerie, qui est capable de voir quelque chose d’invisible à l’œil nu. »
En combinant des vidéos à 63 fps provenant de deux caméras, l’une avec un obturateur global et l’autre avec un obturateur roulant, les chercheurs ont pu récupérer un signal sonore à 63 %.
L’équipe a testé ce micro optique sur une guitare et un violon, sur le cône d’un haut-parleur, sur des diapasons, et même sur un sachet de Doritos posé devant un haut-parleur et vibrant en sympathie avec le son ambiant. Ils l’ont également utilisé pour séparer le son de deux guitares jouant en duo, et de deux haut-parleurs, chacun jouant une chanson différente à côté de l’autre.
« Ce système repousse les limites de ce qui peut être fait avec la vision par ordinateur », a déclaré le co-auteur Matthew O’Toole, professeur adjoint à l’Institut de robotique. « Il s’agit d’un nouveau mécanisme pour capturer des vibrations minuscules et à grande vitesse, et présente un nouveau domaine de recherche. »
L’équipe pense que cette technologie pourrait être utilisée pour bien d’autres choses que le déchiffrage des signaux audio ; les vibrations peuvent être un indicateur clé de l’usure mécanique lorsque des défauts se développent dans les machines, par exemple.
« Si votre voiture commence à faire un bruit bizarre, vous savez qu’il est temps de la faire examiner », a déclaré Mark Sheinin. « Imaginez maintenant un plancher d’usine rempli de machines. Notre système vous permet de surveiller la santé de chacune d’entre elles en détectant leurs vibrations à l’aide d’une seule caméra fixe. »
https://www.cs.cmu.edu/news/2022/optical-microphone
