Des chercheurs de l’Université de Washington (UW) ont récemment démontré comment des images vidéo 3D de Tom Hanks, Daniel Craig et de plusieurs autres célébrités pourraient être créés en compilant des images fixes et des clips sonores extraits d’Internet. Ils ont également montré comment leurs algorithmes pourraient animer ces modèles numériques, les amener à dire des choses qui ont été effectivement dites par quelqu’un d’autre.
La technologie repose sur les progrès de la reconstruction du visage 3D, le suivi, l’alignement, la modélisation multi-texture et le principe des marionnettes, et a été élaborée par un groupe de recherche dirigé par le professeur adjoint en science informatique et ingénierie, Ira Kemelmacher-Shlizerman.
Les dernières avancées de l’équipe de recherche de l’UW comprennent la capacité de transférer les expressions et la manière dont une personne en particulier parle sur le visage de quelqu’un d’autre – par exemple, en cartographiant le maniérisme de l’ancien président George W. Bush sur les visages d’autres politiciens et les célébrités. Dans la vidéo de démonstration ci-dessous, George Bush est vu parler, mais les mots sont faits pour ressembler à ceux émanant d’un certain nombre de célébrités.
Les algorithmes d’apprentissage automatique (machine learning) développée par les chercheurs de l’UW ont extrait un minimum de 200 images d’Internet pris au fil du temps dans divers scénarios et poses – un processus connu sous le nom d’apprentissage « à la sauvage » (learning in the wild)
D’un côté, il semblerait que dans de mauvaises mains, la technologie pourrait éventuellement faire ressembler des mots dits par Donald Trump, mais qui ont été effectivement énoncés par le président Obama ou vice versa – en tant qu’exemple. L’objectif des chercheurs de l’UW, cependant, est beaucoup moins néfaste. Ils espèrent éventuellement permettre aux membres d’une famille d’interagir avec un modèle interactif d’un parent éloigné en créant un personnage numérique entièrement interactif, en trois dimensions à partir d’albums de photos de famille et de vidéos, de collections historiques ou de tout autre contenu.
Alors que les technologies de réalité virtuelle et augmentée se développent, ils imaginent que leur approche 3D remplacerait les actuelles approches 2D comme Skype ou FaceTime.
« Vous pourriez un jour être en mesure de mettre une paire de lunettes de réalité augmentée et c’est un modèle 3D de votre mère qui apparaitrait sur le divan», souligne Ira Kemelmacher Shlizerman. «Cette technologie n’existe pas encore – la technologie d’affichage progresse très vite – mais comment voulez-vous réellement recréer votre mère en trois dimensions ».
En regardant encore plus loin l’avenir du divertissement, les chercheurs de l’UW soulignent que cela pourrait aussi éventuellement remplacer l’actuel processus de la façon détaillée dont des personnages de film numériques sont créés. Pour créer un personnage fictif comme Benjamin Button par exemple, tous les angles et mouvements de Brad Pitt jouant ce personnage devaient être inscrits dans un environnement contrôlé. Ces images devaient ensuite être éditées ensemble pour créer le personnage définitif qui semble se déplacer et parler de façon transparente comme un vieil homme.
Les chercheurs de l’UW présenteront les résultats de leur projet dans un article à accès ouvert à l’International Conference on Computer Vision au Chili le 16 décembre
http://www.washington.edu/news/2015/12/07/what-makes-tom-hanks-look-like-tom-hanks/
