Il traduit actuellement entre l’anglais et le hokkien.

Près de la moitié des quelque 7 000 langues connues dans le monde, quatre sur dix, n’ont pas de composante écrite. Ces langues non écrites posent un problème unique aux systèmes modernes de traduction par apprentissage automatique, car ils doivent généralement convertir les paroles en mots écrits avant de traduire dans la nouvelle langue et de rétablir le texte en paroles.

Dans le cadre du programme Universal Speech Translator (UST) de Meta, qui vise à développer la traduction vocale en temps réel afin que les habitants du Metaverse puissent interagir plus facilement (lire : se harceler sexuellement). Dans le cadre de ce projet, les chercheurs de Meta ont étudié le Hokkien, une langue non écrite parlée dans toute la diaspora asiatique et l’une des langues officielles de Taiwan.

Les systèmes de traduction par apprentissage automatique ont généralement besoin de nombreux exemples étiquetables de la langue, tant écrite que parlée, pour s’entraîner, ce qui n’est précisément pas le cas des langues non écrites comme le hokkien. Pour contourner ce problème, « nous avons utilisé la traduction de la parole en unités (S2UT) pour convertir la parole d’entrée en une séquence d’unités acoustiques directement dans la voie précédemment ouverte par Meta », a expliqué le PDG Mark Zuckerberg dans un billet de blog publié mercredi. « Ensuite, nous avons généré des formes d’onde à partir des unités. En outre, UnitY a été adopté pour un mécanisme de décodage à deux passages où le décodeur de premier passage génère du texte dans une langue apparentée (le mandarin), et le décodeur de second passage crée des unités. »

« Nous avons exploité le mandarin comme langue intermédiaire pour construire des pseudo-étiquettes, où nous avons d’abord traduit la parole anglaise (ou hokkien) en texte mandarin, puis nous avons traduit en hokkien (ou anglais) et nous l’avons ajouté aux données d’entraînement », a-t-il poursuivi. À l’heure actuelle, le système permet à une personne parlant le hokkien de converser avec une personne parlant l’anglais, bien que de manière guindée. Le modèle ne peut traduire qu’une phrase complète à la fois, mais Marc Zuckerberg est convaincu que la technique pourra être appliquée à d’autres langues et qu’elle s’améliorera au point d’offrir une traduction en temps réel.

En plus des modèles et des données d’entraînement que Meta met déjà à disposition dans le cadre de ce projet, l’entreprise publie également un système d’évaluation de la traduction de la parole vers la parole, le premier du genre, basé sur un corpus de paroles en Hokkien appelé Taiwanese Across Taiwan, ainsi que « la matrice de la parole, un grand corpus de traductions de la parole vers la parole extraites à l’aide de la technique innovante d’extraction de données de Meta appelée LASER », a annoncé Zuckerberg. Ce système permettra aux chercheurs de créer leurs propres systèmes de traduction parole-parole (S2ST).

https://www.engadget.com/metas-ai-translator-can-interpret-unwritten-languages-150001511.html

https://www.businessinsider.com/most-metaverse-users-dont-even-make-it-a-month-wsj-2022-10

https://www.technologyreview.com/2021/12/16/1042516/the-metaverse-has-a-groping-problem/

https://ai.facebook.com/blog/ai-translation-hokkien/