Une étape préliminaire dans le processus, avec la vidéo originale visible à droite
En règle générale, si vous souhaitez créer un modèle numérique tridimensionnel réaliste du visage d’une personne, un scanner 3D et/ou plusieurs caméras sont nécessaires. Mais aujourd’hui, des scientifiques de l’université Carnegie Mellon de Pittsburgh ont créé un système qui permet à un seul smartphone de faire le travail.
La technologie a été développée par le professeur Simon Lucey, en collaboration avec les étudiants en master Shubham Agrawal et Anuj Pahuja.
Elle commence par l’utilisation d’un smartphone pour filmer 15 à 20 secondes de vidéo de la tête du sujet, le vidéaste se déplaçant autour de la personne – d’un côté, vers l’avant, vers l’autre côté – au fur et à mesure. L’équipe de Simon Lucey a utilisé un iPhone X au ralenti, afin de recueillir autant de données visuelles que possible en raison de la fréquence d’images plus élevée.
Une technique existante connue sous le nom de localisation et de cartographie visuelles simultanées (SLAM) est ensuite utilisée pour déterminer la géométrie de base du visage. Elle consiste à trianguler des points sur la surface du visage pour calculer à la fois sa forme et la position de l’appareil photo du smartphone par rapport à lui.
Ensuite, des algorithmes basés sur un apprentissage approfondi sont utilisés pour identifier le profil facial du sujet, ainsi que l’emplacement relatif des points de repère tels que les yeux, les oreilles et le nez. Il reste cependant quelques lacunes en matière d’information, que les techniques traditionnelles de vision par ordinateur « mesh fitting » sont ensuite utilisées pour combler.
L’ensemble du processus prend 30 à 40 minutes et peut être entièrement réalisé sur un smartphone. Il en résulte des modèles en 3D qui sont censés être très détaillés (jusqu’à un niveau inférieur au millimètre) et réalistes – plus que les configurations similaires développées précédemment.
On espère que le système pourra finalement être utilisé dans des applications telles que la création d’avatars de jeux, l’identification biométrique ou dans le domaine de la médecine.
Les travaux de l’équipe ont été présentés au début du mois dernier, lors de la conférence d’hiver de l’IEEE sur les applications de la vision par ordinateur, au Colorado.
https://www.cs.cmu.edu/news/smartphone-videos-produce-highly-realistic-3d-face-reconstructions
