Des équipes de recherche de Microsoft abordent plusieurs défis différents impliqués dans la traduction précise des gestes de la main pour les systèmes d’interface informatiques. Presque tous les objets que vous rencontrez au jour le jour ont été conçus pour fonctionner avec la main humaine, et il n’est donc pas étonnant que beaucoup de recherches s’effectuent actuellement sur le suivi des gestes de la main pour créer des interfaces informatiques plus intuitives, comme DeepHand de l’Université Purdue ou le produit grand public, Leap motion. Aujourd’hui, Microsoft a décrit certains projets qui traitent du suivi de la main, du retour haptique et l’entrée de données par geste.
« Comment pouvons-nous interagir avec des objets dans le monde réel? » se demande Jamie Shotton, un chercheur de Microsoft dans leurs laboratoires de Cambridge, au Royaume-Uni. « Eh bien, nous les prenons, les touchons avec nos doigts, et les manipulons. Nous devrions être en mesure de faire exactement la même chose avec des objets virtuels. Nous devrions être en mesure de les atteindre et de les toucher. »
Les chercheurs croient que le suivi des gestes est la prochaine grande étape dans la façon dont les humains interagissent avec les ordinateurs et les appareils intelligents. La combinaison de gestes avec des commandes vocales et des méthodes d’entrée physiques traditionnelles comme les écrans tactiles et les claviers va permettre aux systèmes informatiques ambiants, comme les appareils IoT, de mieux anticiper nos besoins.
Le premier obstacle est de taille: la main humaine est extrêmement complexe, et suivre toutes les configurations possibles qu’elle permet, est une entreprise de grande envergure. Voilà l’objet de Handpose, un projet de recherche en cours à Cambridge dans le laboratoire de Microsoft, qui utilise le capteur Kinect trouvé dans une console Xbox pour suivre les mouvements de la main d’un utilisateur en temps réel et afficher des versions virtuelles qui imitent tout ce que des mains réelles font.
L’outil est suffisamment précis pour permettre aux utilisateurs de faire fonctionner des commutateurs numériques et des cadrans avec la dextérité que vous attendez des mains physiques, et peut être exécuté sur un appareil grand public, comme une tablette.
«Nous sommes au point où la précision est telle que l’utilisateur peut commencer à ressentir la main de l’avatar comme sa vraie main», assure Jamie Shotton.
Un autre aspect clé de la sensation qui fait que les mains numériques sont vraiment les vôtres, passe par le sens du toucher, et tandis que les utilisateurs de commutateurs et cadrans de Handpose ont déclaré toujours se sentir immergé sans retour haptique, une équipe de Microsoft à Redmond aux Etats-Unis, expérimente quelque chose plus pratique.
Ce système est capable de reconnaître qu’un bouton physique, et non connectée à quoi que ce soit dans le monde réel, a été poussé en lisant simplement le mouvement de la main. L’utilisation d’un système de reciblage permet que plusieurs commandes contextuelles puissent être déployées par-dessus le monde virtuel.
Cela signifie qu’un ensemble limité d’objets virtuels sur un petit panneau du monde réel est suffisant pour interagir avec un mur complexe de boutons et de curseurs virtuels, comme un cockpit d’avion par exemple. Les boutons et les cadrans réels physiques muets aident à rendre les interfaces virtuelles plus réelles, rapportent les chercheurs.
Le troisième projet sort du « Advanced Technologies Lab » de Microsoft en Israël. La recherche sur le Projet Prague vise à permettre aux développeurs de logiciels d’intégrer des gestes de la main pour diverses fonctions dans leurs applications et programmes. Donc, en mimant le fait de tourner une d’une clé pourrait verrouiller un ordinateur, ou le fait de prétendre raccrocher un téléphone pourrait mettre fin à un appel Skype.
Les chercheurs ont construit le système en alimentant des millions de poses de la main dans un algorithme d’apprentissage automatique pour l’entraîner à reconnaître des gestes spécifiques, et utilise des centaines d’unités d’intelligence micro-artificielle pour construire une image complète des positions de la main d’un utilisateur, ainsi que leur intention. Il scanne les mains à l’aide d’une caméra 3D au niveau grand public.
Outre les jeux et la réalité virtuelle, l’équipe croit que la technologie aura des applications pour des tâches de travail quotidiennes, y compris la navigation sur le Web et la création et la délivrance de de présentations.
