Le système de playback de Reactive Video est utilisé pour enseigner le tai-chi
Lorsqu’on essaie d’apprendre une technique physique telle que le judo ou le yoga à partir d’une vidéo, il peut être frustrant de ne pas pouvoir suivre l’action à l’écran. C’est là qu’intervient le système de Reactive Video, qui ralentit les vidéos pour les adapter à la vitesse de leurs spectateurs.
Le système est développé grâce à une collaboration entre l’université britannique de Lancaster, l’université californienne de Stanford et le centre de recherche du laboratoire FX Palo Alto.
Sur le plan matériel, son principal composant est un module de détection de mouvement Microsoft Kinect. En utilisant les sorties de ce dispositif, un logiciel spécial suit en permanence la position des coudes, des genoux, des mains, des bras, des hanches et des jambes du spectateur. Ces données sont utilisées pour créer un modèle animé en temps réel de type « stickperson ».
Ce même logiciel de « suivi du squelette » est utilisé pour analyser la vidéo avant le début de la séance, créant ainsi un modèle animé similaire de l’instructeur à l’écran. Une fois la session entamée, le système compare les mouvements enregistrés du modèle de l’instructeur aux mouvements en temps réel correspondants du modèle du spectateur.
Lorsque l’instructeur effectue une certaine action, des algorithmes probabilistes déterminent approximativement combien de temps il faudra au spectateur pour faire la même chose. La vidéo est alors automatiquement ralentie, afin d’éviter que l’instructeur ne prenne trop d’avance sur le spectateur.
En outre, cette technologie peut être utilisée sur des vidéos existantes qui n’ont pas été tournées ou montées de manière spécifique.
« Pour certaines personnes, il peut être difficile de suivre le rythme, surtout lorsqu’elles apprennent quelque chose de nouveau, et pour les personnes âgées ou celles qui ont des difficultés à se déplacer », explique Christopher Clarke, de l’Université de Lancaster, co-auteur d’un article sur la recherche. « De plus, le fait d’atteindre constamment une télécommande pour faire une pause, revenir en arrière et rejouer, peut être frustrant et briser l’immersion. Notre système surmonte ces problèmes en faisant en sorte que la vidéo s’ajuste automatiquement pour être lue à la vitesse de l’utilisateur, ce qui est moins stressant et plus bénéfique pour l’apprentissage ».
https://dl.acm.org/doi/abs/10.1145/3379337.3415591
https://www.lancaster.ac.uk/news/reactive-video-playback-that-you-control-with-your-body
