A mesure que les ordinateurs deviennent meilleurs pour naviguer dans le monde autour d’eux, ils aident aussi les humains à mieux naviguer dans ce monde. Grâce aux progrès de l’IA et de la robotique, les scientifiques d’IBM Research et de l’Université Carnegie Mellon (CMU) travaillent sur de nouveaux types de solutions d’accessibilité dans le monde réel pour les malvoyants.
L’objectif est aussi audacieux qu’inspirant: venir avec une plate-forme technologique qui peut aider la personne malvoyante à naviguer dans le monde autour d’elle aussi facilement que n’importe qui. Le premier projet pilote dans le programme est une application pour smartphone sous iOS et Android baptisé NavCog. Il aide les personnes aveugles à naviguer dans leur environnement en chuchotant dans leurs oreilles grâce à des écouteurs ou en créant des vibrations subtiles sur leurs smartphones. (Les utilisateurs ont la possibilité soit de la mise en application en « mode vocal » ou « mode vibration. »)
Comme pour les instructions virage par virage des systèmes GPS de voiture, l’application propose sa propre version d’instructions virage par virage pour les malvoyants. L’application analyse les signaux de balises Bluetooth situées le long des allées et des capteurs de smartphones pour permettre aux utilisateurs de se déplacer sans assistance humaine, aussi bien dans les bâtiments du campus à l’intérieur qu’à l’extérieur.
La magie se passe lorsque les algorithmes sont capables d’aider les aveugles à identifier en temps quasi réel là où ils sont, dans quelle direction ils vont et donnent des informations environnementales supplémentaires. L’outil d’application de navigation grâce à la vision par ordinateur transforme des images de smartphones de l’environnement en un modèle d’espace 3D qui peut être utilisé pour émettre des instructions de navigation virage par virage de manière vocale.
Le projet NavCog, qui est une collaboration entre IBM Research à Yorktown Heights, New York et Carnegie Mellon, a une signification particulière pour l’un des principaux chercheurs sur le projet, Chieko Asakawa, qui a elle-même une déficience visuelle. Il lui sera bientôt possible de marcher à travers le campus de CMU avec l’aide de l’application NavCog – et ressembler à toute autre personne traversant le campus, écoutant son smartphone avec des écouteurs blancs dans son oreille.
Et ce n’est qu’un début, précise Kris Kitani de l’Institut de robotique de CMU. Un objectif majeur, bien sûr, est d’étendre la couverture au-delà des bâtiments du campus de Carnegie Mellon qui ont été modernisés avec des balises. Pour encourager cela, les scientifiques travaillant sur le projet ont développé l’ensemble de la plateforme NavCog en open source en la rendant disponible pour les développeurs via le cloud IBM BlueMix. Cela permet à d’autres développeurs de développer d’autres améliorations pour le système et d’accélérer le déploiement pour d’autres lieux physiques.
L’autre objectif principal, souligne Kris Kitani, est de rendre le système possible pour tout environnement, même celui qui n’intègre pas de balises Bluetooth. Pour rendre cela possible, l’université espère avancer sur les progrès de la vision par ordinateur ainsi que mener de nouveaux travaux dans le domaine de l’assistance cognitive, qui est un domaine de recherche qui se consacre à aider les aveugles à retrouver des informations en augmentant leurs capacités manquantes ou affaiblies.
En utilisant des caméras de vision assistée par ordinateur, par exemple, il pourrait être possible de développer un système plus précis qui ne nécessite pas la présence de balises Bluetooth. En outre, cette vision assistée par ordinateur, lorsqu’elle est combinée avec d’autres technologies de localisation, pourrait potentiellement permettre de reconnaître des sites d’intérêt de tous les jours – comme un ensemble d’escaliers ou d’une barrière sur la route – qui pourraient ne pas être détectés avec les capteurs d’aujourd’hui.
« A partir d’informations de localisation jusqu’à la compréhension d’objets, nous avons créé des technologies pour rendre l’environnement du monde réel plus accessible pour tout le monde », a déclaré Martial Hebert, directeur de l’Institut de robotique à Carnegie Mellon. «Grâce à notre longue histoire de développement de technologies pour les humains et les robots qui viendront compléter les capacités manquantes des humains pour détecter le monde qui les entoure, cette plate-forme ouverte permettra d’élargir l’horizon de collaboration mondiale pour ouvrir la nouvelle ère d’accessibilité dans le monde réel pour les aveugles en le futur proche. »
Grâce à la fertilisation croisée des idées à travers l’IA et la robotique à Carnegie Mellon, il y a des plans en cours pour ajouter d’autres extras au système qui vont au-delà de la simple navigation.
Par exemple, un composant de reconnaissance faciale serait vous dire en temps réel si vous passez devant quelqu’un que vous connaissez déjà.
En outre, des capteurs capables de reconnaître les émotions sur ces visages – un travail qui fait partie d’autres recherches à Carnegie Mellon sur l’autisme – pourraient permettre de reconnaître quand les gens vous sourient en passant ou en fronçant les sourcils. Les chercheurs étudient également l’utilisation de la vision par ordinateur pour caractériser les activités de personnes dans le voisinage et la technologie à ultrasons pour aider à identifier les endroits avec plus de précision.
Comme Chieko Asakawa, la recherche d’assistance cognitive qui est permis la création de l’application NavCog a quelques similitudes avec le travail sur l’informatique cognitive effectué par IBM Watson. Dans les deux cas, il y a une tentative croissante d’améliorer les capacités cognitives de l’homme sur une base en temps réel.
Au sein d’IBM, par exemple, les chercheurs utilisent parfois la notion de « Watson sur mon épaule » -(Watson on my shoulder) pour expliquer quelle est la prochaine pour IBM Watson -, une présence localisée continue qui peut fournir une assistance cognitive pour à peu près tout le monde, y compris les professionnels de la santé et des prévisions météorologiques.
Si tout se passe selon le plan, il est possible d’envisager une boucle de rétroaction vertueuse pour l’intelligence des machines et de l’intelligence humaine, dans laquelle les technologies cognitives développées par les humains pour augmenter les capacités des machines finissent par augmenter les capacités de l’homme aussi.
http://www.ri.cmu.edu/person.html?person_id=2617
http://www.cs.cmu.edu/~NavCog/
