Déjà, des ingénieurs du son peuvent utiliser des logiciels tels que Pro Tools pour changer l’inflexion de la voix d’une personne après qu’elle ait été enregistrée. Bientôt, des réalisateurs de films pourront également être en mesure de modifier les expressions du visage d’un acteur après son interprétation ait été filmée. Ils pourront le faire en utilisant FaceDirector, un programme créé par le biais d’une collaboration entre Disney Research Zurich et l’Université de Surrey.

Tout d’abord, FaceDirector ne génère pas d’expressions à partir de rien. Au lieu de cela, il fait du morphing entre les différentes expressions qui ont été précédemment enregistrées en prises séparées d’une même scène tournée.

Voici un exemple hypothétique de la façon dont il pourrait être utilisé : un réalisateur pourrait commencer par demander à un acteur de tourner une scène deux fois, une fois avec l’air effrayé, et une fois « en colère ». Lors du montage du film, le réalisateur pourrait se rendre compte que la scène fonctionnera le mieux si elle commençait avec l’acteur ayant un air effrayé, puis avait l’air en colère au fur à mesure de la scène.

Eh bien, en utilisant FaceDirector, il serait possible de commencer par la scène « peur », puis de passer à la « colère » sans aucun problème au sein de la même prise de vue en continue. L’audio pour chaque prise resterait jumelé avec la vidéo correspondante.

Afin de garder les multiples prises synchronisées les unes avec les autres, le logiciel recherche les signaux audio (tels que des sons de mot unique) et des « points de repère sur le visage » qui se produisent avec ces indices. Grâce à ces marqueurs, la vitesse de lecture de ces prises est subtilement retouchée afin de les garder au même endroit au même moment, avec toutes les modifications résultant de la hauteur audio corrigée automatiquement. En conséquence, les réalisateurs sont en mesure de faire du morphing d’avant en arrière et inversement entre les prises, tout en respectant le timing de la scène.

En outre, la séquence initiale peut être capturée à l’aide de caméras 2D normales, sans avoir besoin d’aucun équipement supplémentaire.

http://www.disneyresearch.com/publication/facedirector/