Ce dispositif pourrait aider les travailleurs à localiser des objets pour remplir des commandes de commerce électronique ou à identifier des pièces pour assembler des produits.
Un casque de réalité augmentée combine la vision par ordinateur et la perception sans fil pour localiser automatiquement un objet spécifique qui est caché à la vue, peut-être à l’intérieur d’une boîte ou sous une pile, puis guider l’utilisateur pour le récupérer.
Des chercheurs du MIT ont construit un casque de réalité augmentée qui donne à son porteur une vision à rayons X. Le casque combine la vision par ordinateur et la perception sans fil pour localiser automatiquement un objet spécifique qui est caché de la vue, peut-être à l’intérieur d’une boîte ou sous une pile, et ensuite guider l’utilisateur pour le récupérer.
Le système utilise des signaux de radiofréquence (RF), qui peuvent traverser des matériaux courants comme les boîtes en carton, les conteneurs en plastique ou les séparateurs en bois, pour trouver des articles cachés qui ont été étiquetés avec des étiquettes RFID, qui reflètent les signaux envoyés par une antenne RF.
Le casque dirige l’utilisateur dans une pièce vers l’emplacement de l’objet, qui apparaît sous la forme d’une sphère transparente dans l’interface de réalité augmentée (RA). Une fois l’objet dans la main de l’utilisateur, le casque, appelé X-AR, vérifie qu’il a bien pris le bon objet.
Lorsque les chercheurs ont testé X-AR dans un environnement de type entrepôt, le casque a pu localiser les objets cachés à 9,8 centimètres près, en moyenne. Et il a vérifié que les utilisateurs avaient ramassé le bon objet avec une précision de 96 %.
La technologie X-AR pourrait aider les employés des entrepôts de commerce électronique à trouver rapidement des articles sur des étagères encombrées ou enfouis dans des boîtes, ou à identifier l’article exact d’une commande lorsque de nombreux objets similaires se trouvent dans le même bac. Il pourrait également être utilisé dans une usine de fabrication pour aider les techniciens à localiser les bonnes pièces pour assembler un produit.
« L’objectif de ce projet était de construire un système de réalité augmentée qui vous permette de voir des choses invisibles – des choses qui se trouvent dans des boîtes ou dans des coins – et, ce faisant, de vous guider vers elles et de vous permettre de voir le monde physique d’une manière qui n’était pas possible auparavant », explique Fadel Adib, professeur associé au département de génie électrique et d’informatique, directeur du groupe de cinétique des signaux au Media Lab, et auteur principal d’un article sur X-AR.
Amélioration d’un casque de réalité augmentée
Pour créer un casque de réalité augmentée avec une vision à rayons X, les chercheurs ont d’abord dû équiper un casque existant d’une antenne capable de communiquer avec des articles étiquetés RFID. La plupart des systèmes de localisation RFID utilisent plusieurs antennes situées à plusieurs mètres les unes des autres, mais les chercheurs avaient besoin d’une antenne légère capable d’atteindre une largeur de bande suffisante pour communiquer avec les étiquettes.
« L’un des grands défis a été de concevoir une antenne qui tienne sur le casque sans couvrir aucune des caméras ni entraver son fonctionnement. C’est très important, car nous devons utiliser toutes les spécifications de la visière », explique Aline Eid.
L’équipe a pris une antenne en boucle simple et légère et a expérimenté en la rétrécissant (en modifiant progressivement sa largeur) et en ajoutant des espaces, deux techniques qui augmentent la largeur de bande. Les antennes fonctionnant généralement à l’air libre, les chercheurs les ont optimisées pour qu’elles puissent envoyer et recevoir des signaux lorsqu’elles sont fixées à la visière du casque.
Une fois que l’équipe a construit une antenne efficace, elle s’est attachée à l’utiliser pour localiser des articles étiquetés RFID.
Pour ce faire, elle a utilisé une technique appelée radar à ouverture synthétique (SAR), qui est similaire à la façon dont les avions prennent des images d’objets au sol. Le X-AR prend des mesures avec son antenne depuis différents points d’observation lorsque l’utilisateur se déplace dans la pièce, puis il combine ces mesures. De cette façon, il agit comme un réseau d’antennes où les mesures de plusieurs antennes sont combinées pour localiser un dispositif.
X-AR utilise les données visuelles de la capacité d’autopistage du casque pour établir une carte de l’environnement et déterminer son emplacement dans cet environnement. Pendant que l’utilisateur marche, il calcule la probabilité que l’étiquette RFID se trouve à chaque endroit. La probabilité sera la plus élevée à l’emplacement exact de l’étiquette, et elle utilise donc cette information pour trouver l’objet caché.
Les co-auteurs d’Adib sont les assistants de recherche Tara Boroushaki, qui est l’auteur principal du document, Maisy Lam, Laura Dodds et l’ancienne post-doctorante Aline Eid, qui est maintenant professeur adjoint à l’Université du Michigan. La recherche sera présentée au symposium USENIX sur la conception et la mise en œuvre des systèmes en réseau.
« Alors que cela représentait un défi lors de la conception du système, nous avons constaté lors de nos expériences qu’il fonctionne bien avec les mouvements naturels des humains. Comme les humains bougent beaucoup, cela nous permet de prendre des mesures à de nombreux endroits différents et de localiser un objet avec précision », explique Laura Dodds.
Une fois que X-AR a localisé l’objet et que l’utilisateur l’a pris, le casque doit vérifier que l’utilisateur a saisi le bon objet. Mais pour l’instant, l’utilisateur est immobile et l’antenne du casque ne bouge pas, il ne peut donc pas utiliser le RSO pour localiser l’étiquette.
Cependant, lorsque l’utilisateur saisit l’objet, l’étiquette RFID se déplace avec lui. X-AR peut mesurer le mouvement de l’étiquette RFID et exploiter la capacité de suivi de la main du casque pour localiser l’objet dans la main de l’utilisateur. Il vérifie ensuite que l’étiquette envoie les bons signaux RF pour s’assurer qu’il s’agit bien du bon objet.
Les chercheurs ont utilisé les capacités de visualisation holographique du casque pour afficher ces informations à l’utilisateur de manière simple. Une fois que l’utilisateur a mis le casque, il utilise des menus pour sélectionner un objet dans une base de données d’articles étiquetés. Une fois l’objet localisé, il est entouré d’une sphère transparente afin que l’utilisateur puisse voir où il se trouve dans la pièce. Ensuite, l’appareil projette la trajectoire de cet objet sous la forme de pas sur le sol, qui peuvent être mis à jour dynamiquement lorsque l’utilisateur marche.
« Nous avons fait abstraction de tous les aspects techniques afin de pouvoir offrir une expérience transparente et claire à l’utilisateur, ce qui serait particulièrement important si quelqu’un devait le mettre dans un entrepôt ou dans une maison intelligente », explique Maisy Lam.
Tester le casque
Pour tester le X-AR, les chercheurs ont créé un entrepôt simulé en remplissant les étagères de boîtes en carton et de bacs en plastique, et en y plaçant des articles étiquetés RFID.
Ils ont constaté que le X-AR pouvait guider l’utilisateur vers un article ciblé avec moins de 10 centimètres d’erreur – ce qui signifie qu’en moyenne, l’article se trouvait à moins de 10 centimètres de l’endroit où le X-AR dirigeait l’utilisateur. Les méthodes de base testées par les chercheurs présentaient une erreur médiane de 25 à 35 centimètres.
Ils ont également constaté que le système vérifiait correctement que l’utilisateur avait pris le bon article dans 98,9 % des cas. Cela signifie que X-AR est capable de réduire les erreurs de prélèvement de 98,9 %. Il était même précis à 91,9 % lorsque l’article était encore dans une boîte.
« Le système n’a pas besoin de voir l’article pour vérifier que vous avez pris le bon article. Si vous avez 10 téléphones différents dans un emballage similaire, vous ne pourrez peut-être pas faire la différence entre eux, mais le système peut vous guider pour que vous preniez le bon », précise Tara Boroushaki.
Maintenant qu’ils ont démontré le succès de X-AR, les chercheurs prévoient d’explorer comment différentes modalités de détection, comme le WiFi, la technologie mmWave ou les ondes terahertz, pourraient être utilisées pour améliorer ses capacités de visualisation et d’interaction. Ils pourraient également améliorer l’antenne pour que sa portée dépasse 3 mètres et étendre le système pour qu’il puisse être utilisé par plusieurs casques coordonnés.
« Comme il n’existe rien de tel aujourd’hui, nous avons dû trouver comment construire un type de système entièrement nouveau du début à la fin », explique Fadel Adib. « En réalité, ce à quoi nous sommes parvenus est un cadre. Il y a de nombreuses contributions techniques, mais c’est aussi un plan pour savoir comment concevoir un casque AR avec une vision à rayons X à l’avenir. »
« Cet article franchit une étape importante dans l’avenir des systèmes de RA, en les faisant fonctionner dans des scénarios sans visibilité directe », déclare Ranveer Chandra, directeur général de la recherche industrielle chez Microsoft, qui n’a pas participé à ces travaux. « Il utilise une technique très intelligente consistant à tirer parti de la détection RF pour augmenter les capacités de vision par ordinateur des systèmes de réalité augmentée existants. Cela peut conduire les applications des systèmes de RA à des scénarios qui n’existaient pas auparavant, comme dans le commerce de détail, la fabrication ou les nouvelles applications de compétences. »
https://news.mit.edu/2023/augmented-reality-headset-enables-users-see-hidden-objects-0227
