Avez-vous déjà été frappé par un «blanc» dans votre tête et oublié le titre d’une vidéo que vous vouliez montrer à quelqu’un? Vous savez la vidéo … celle avec le gars qui court sur la plage avec le chien. Le dernier avancement de Google étend sa reconnaissance d’image par IA existante dans le domaine de la vidéo, promettant un avenir où nous pourrions facilement rechercher dans le contenu vidéo qui serait automatiquement assignée par des «tags» grâce à un système d’IA.
Google Cloud Video Intelligence utilise des modèles d’apprentissage profond, basés sur ses architectures Tensorflow existantes, pour analyser des vidéos et les étiqueter en fonction du contenu spécifique qu’elles renferment. Le système peut rechercher des vidéos en ajoutant de nombreuses balises « nom » et « verbe », puis évaluer et peser la signification des éléments marqués.
Un exemple de la façon dont le système isole un seul plan dans une vidéo et crée des tags pondérés pour chaque élément identifié (Crédit: Google Cloud Platform)
Le système analyse les vidéos prises de vue par prises de vue, pesant chaque élément avec une valeur de pourcentage. Cette valeur détermine ensuite à quel point elle sera importante sur les résultats de recherche, le résultat final étant une base de données consultable de vidéos dans laquelle vous pouvez naviguer de la même façon que les pages Web ou les images.
Dans une démonstration de la technologie, Google a montré comment le système peut pointer les utilisateurs vers des moments précis dans une vidéo contenant des objets ou des événements qui sont recherchés. De façon encore plus impressionnante, leur démonstration a montré le système identifiant la race spécifique d’un chien présentée dans une vidéo analysée.
Ces labels englobent l’intégralité de la vidéo avec des pondérations en pourcentage de contenu pour des retours de recherche plus précis
L’outil est maintenant disponible pour les entreprises en mode bêta privé. Fei Fei Li, scientifique en chef en apprentissage automatique chez Google, écrit: «Cette API s’adresse aux grandes entreprises de médias et aux entreprises de technologie grand public qui veulent construire leurs catalogues de médias ou trouver des moyens faciles de gérer des contenus multi-source ».
Peut-être faudra-t-il attendre avant que le système soit plus largement intégré dans nos outils de recherche quotidiens, mais cela promet un niveau de détail extraordinairement nouveau dans le contenu sur lequel on pourra se concentrer, surtout dans un futur qui apparait comment étant de plus en plus dominé par de plus en plus de contenu vidéo en ligne.
