Des scientifiques du MIT et de l’Institut de recherche informatique du Qatar (QCRI) ont exploité une technologie pour jeu vidéo afin de générer de la vidéo de matches de football en 3D avec une qualité de télédiffusion (comme le football dans une grande partie du monde) à partir d’une source 2D, et ce en temps réel. La vidéo obtenue peut en principe être appréciée sur un téléviseur 3D ou un casque de réalité virtuelle, et pourrait conduire à ce que beaucoup plus de contenu 3D devienne disponible dans un avenir proche.
Lorsqu’on veut un plein effet sur un écran, la technologie 3D peut offrir des expériences utilisateur hautement immersives, mais le contenu de ces plates-formes est limité par la grande quantité de travail nécessaire à sa production. Que ce soit dans les jeux vidéo ou dans les films, les producteurs de contenu doivent prendre des mesures spécifiques allant de temps de programmation supplémentaire à un équipement spécialisé pour créer du contenu adapté aux casques VR ou aux téléviseurs 3D.
Les tentatives du passé cherchant à développer des systèmes pour un usage général afin d’effectuer la conversion automatique de la 2D à la 3D ne fonctionnent pas toujours comme on l’espérait, produisant souvent des artefacts visuels bizarres qui nuisent à la qualité visuelle et briser le sentiment d’immersion.
L’idée actuellement explorée par les chercheurs du MIT et du QCRI se concentre sur un domaine relativement étroite (les jeux de football) et s’appuie sur des données de jeux vidéo pour aider à produire du contenu 3D à la volée.
Les jeux vidéo de sport d’aujourd’hui conservent une carte détaillée en trois dimensions du terrain et des joueurs tout au long du match, en prenant des dizaines d’images instantanés 2D par chaque seconde afin d’afficher les données sur l’écran du lecteur. En faisant de l’ingénierie inverse de ce processus, ont réfléchi les scientifiques, cela serait un bon moyen de construire une carte 3D à partir d’une image plate.
En utilisant du contenu d célèbre jeu vidéo FIFA 13 d’EA Sport, les chercheurs Kiana Calagari et ses collègues ont construit une base de données exhaustive de dizaines de milliers de captures d’écran de jeux vidéo avec leurs cartes 3D correspondantes, reflétant les angles de caméra et les situations de jeu les plus communes vues dans une émission de télévision d’un terrain de foot.
Les chercheurs ont ensuite créé un système prend alors une capture d’écran d’une émission de télévision, la subdivise en petites sections, chaque section correspond à la base de données, et enfin assemble tous les morceaux ensemble pour produire une image 3D de qualité broadcast.
Selon les chercheurs, la vidéo convertie peut être lue sur n’importe quel dispositif compatible 3D et dispose d’aucun des artefacts émanant de techniques moins optimisés: dans une étude utilisateur, la majorité des sujets auraient évalué la qualité de l’image obtenue à 5/5 .
Le système produit actuellement une vidéo 3D avec un retard d’environ trois dixièmes de seconde à partir de la diffusion originale, mais les chercheurs travaillent actuellement sur la réduction encore plus forte du temps de latence.
Bien qu’aucun plans n’aient été annoncés, il semble plausible qu’une telle technique pourrait être adapté à d’autres sports. Si la technologie est un succès commercial, la quantité de contenu 3D qui deviendra soudainement disponible pour le grand public pourrait être un facteur déterminant afin que la TV 3D et la technologie VR se popularisent.
http://news.mit.edu/2015/software-converts-2-d-3-d-video-1104
