Le projet est le premier à décoder en temps réel les questions-réponses orales à partir des signaux du cerveau.
En 2017, Mark Chevillet de Facebook s’est donné deux ans pour prouver qu’il était possible de construire une technologie non invasive capable de lire 100 mots par minute à partir de l’activité cérébrale.
Ça fait deux ans, et le verdict est rendu : « La promesse est là », a déclaré Mark Chevillet, « Nous pensons que ce sera possible. »
En tant que directeur de recherche du programme d’interface cerveau-ordinateur de Facebook Reality Labs, Mark Chevillet a l’intention d’aller de l’avant avec le projet – et l’objectif ultime de l’entreprise de développer des lunettes de réalité augmentée (RA) qui peuvent être contrôlées sans avoir à parler à haute voix.
Son optimisme est alimenté en grande partie par une première dans le domaine des interfaces cerveau-ordinateur qui a été publiée : Dans la revue Nature Communications, une équipe de l’Université de Californie à San Francisco (UCSF), financée par Facebook Reality Labs, a construit une interface cerveau-ordinateur qui décode avec précision les mots et les phrases de dialogue entendus et prononcés par la personne qui porte l’appareil, à partir des signaux du cerveau en temps réel.
Les résultats constituent une étape importante vers la mise en place d’implants neuronaux qui pourraient être utilisés pour rétablir la communication naturelle avec les patients qui ont perdu la capacité de parler en raison d’un accident vasculaire cérébral, d’une lésion médullaire ou d’autres affections, explique Edward Chang, auteur principal et neurochirurgien de la UCSF.
Facebook, cependant, est plus intéressé à construire des lunettes de réalité augmentée que des appareils biomédicaux. Ce travail fournit une preuve de principe qu’il est possible de décoder la parole imaginaire à partir des signaux du cerveau en mesurant l’activité de grandes populations de neurones, assure Mark Chevillet. « Ce résultat aide à définir les spécifications du type d’appareil que nous devons construire. »
En avril, l’équipe d’Edward Chang a créé une interface cerveau-ordinateur différente capable de décoder directement la parole à partir des signaux du cerveau. Le but du travail était d’améliorer la précision du décodage de l’activité cérébrale. « Nous décodons deux types d’informations provenant de deux parties différentes du cerveau, et nous nous en servons comme contexte « , précise Edward Chang. Il en résulte un « impact non négligeable » sur la précision du décodage, dit-il.
L’amélioration de la précision repose sur un concept simple : l’ajout d’un contexte. À l’aide d’électrodes implantées dans le cerveau de trois patients volontaires en traitement pour l’épilepsie, l’équipe d’Edward Chang a enregistré l’activité cérébrale pendant que les volontaires écoutaient une série de questions pré-enregistrées et parlaient à haute voix de leurs réponses.
Ces données cérébrales ont ensuite été utilisées pour former des algorithmes d’apprentissage automatique. Plus tard, lorsqu’on a demandé aux participants à l’étude de répondre de nouveau aux questions, les algorithmes ont utilisé l’activité cérébrale seule pour déterminer d’abord si un volontaire écoutait ou parlait, puis pour essayer de décoder la parole.
La plupart des décodeurs de parole fonctionnent en devinant au mieux le son qu’une personne pense, de sorte qu’un décodeur cérébral normal est susceptible d’être confondu par des mots similaires comme » synthesizer » et » fertilizer » (en anglais bien sûr). Le nouveau système de l’UCSF ajoute un contexte pour aider à faire la distinction entre ces mots. Tout d’abord, l’algorithme prédit la question entendue à partir d’un ensemble de questions connues, telles que « Qu’est-ce que vous étalez sur un champ ? Cette information est ensuite utilisée comme contexte pour aider à prédire la réponse : « Fertilizer. » (engrais)
Schéma de décodage de la parole en temps réel pendant une tâche de question (bleu) et de réponse (rouge).
En ajoutant le contexte, les réponses sont beaucoup plus faciles à prédire pour une interface cerveau-ordinateur, insiste Edward Chang. Le système a été en mesure de décoder la parole perçue (entendue) et produite (parlée) avec une précision pouvant atteindre 76 % et 61 %, respectivement, en utilisant un ensemble restreint de questions et réponses spécifiques. Mais l’équipe espère élargir le vocabulaire du système à l’avenir.
De meilleurs algorithmes et des ordinateurs plus rapides ont également amélioré la vitesse de décodage dans l’étude : Ce qui prenait auparavant des semaines, voire des mois, de traitement hors ligne peut maintenant se faire en temps réel, explique Edward Chang.
Cette étude publiée discrètement et évaluée par des pairs contraste nettement avec la couverture médiatique à couper le souffle qui a suivi l’annonce faite par Elon Musk plus tôt ce mois-ci de la progression de sa compagnie d’augmentation cérébrale, Neuralink. Alors que Facebook a l’intention de construire des lunettes AR qui écoutent les signaux du cerveau à l’aide de la lumière infrarouge (décrite en détail aujourd’hui dans un billet de blog d’entreprise), Neuralink développe un réseau implantable de 3 000 électrodes flexibles pour augmenter le fonctionnement du cerveau.
Les deux annonces semblent mettre les entreprises sur une course pour être les premières à offrir une interface cerveau-ordinateur commerciale qui décode l’activité cérébrale. Mais il est probable que les progrès vers cet objectif seront plus lents que rapides. « Nous n’avons pas de plans de produits pour cette technologie parce qu’il s’agit d’une technologie qui en est à ses débuts « , explique Mark Chevillet.
Entre-temps, Edward Chang espère apporter bientôt des changements significatifs aux patients qui ne peuvent pas parler. Tout le travail de l’équipe jusqu’à présent a été fait avec des bénévoles qui sont capables de parler, de sorte que l’équipe passera maintenant une année à travailler avec un seul participant à la recherche qui a perdu la parole pour générer du texte sur un écran d’ordinateur. Toutes les données seront recueillies par l’UCSF et gardées confidentielles sur les serveurs des universités. Entre-temps, tous les résultats de la collaboration avec Facebook sont publiés et rendus accessibles à la communauté académique, souligne Edward Chang. « J’espère que ce n’est pas seulement au profit de ce que nous faisons, mais de l’ensemble du terrain. »
https://www.linkedin.com/in/mark-chevillet-971a001b/
https://www.nature.com/articles/s41467-019-10994-4
https://tech.fb.com/imagining-a-new-interface-hands-free-communication-without-saying-a-word-2/
https://research.fb.com/blog/category/augmented-reality-virtual-reality/
