Tech&Co
Vie numérique

Cette intelligence articielle lit mieux sur les lèvres qu’un être humain

-

- - YouTube

Des scientifiques anglais ont développé un programme d’intelligence artificielle qui peut transformer les mouvements des lèvres en texte.

Pour les sourds et malentendants, la lecture sur les lèvres de l’interlocuteur est une pratique très utile dans la vie de tous les jours, mais complexe à maîtriser. Est-ce qu’un programme informatique serait capable d’en faire autant ? Des scientifiques de l’Université d’Oxford en Angleterre ont travaillé sur la question et ont développé un programme d’intelligence artificielle, baptisé LipNet, qui est capable d’analyser la vidéo d’une personne en train de parler et d’établir la correspondance entre le mouvements des lèvres et du texte.

Selon les chercheurs, le programme obtient un taux d’exactitude de 93%, contre seulement 52% pour un être humain et 79,6% pour la précédente génération de programmes dans cette catégorie. La vidéo ci-dessous montre l’efficacité du système de prédiction de LipNet.

Le programme ne tente pas d’analyser chaque mot séparément, mais traite des phrases entières. Selon les chercheurs : "Toutes les approches existantes effectuent uniquement la classification des mots, et non la prédiction des séquences au niveau de la phrase. D’après ce que nous savons, LipNet est le premier modèle de lecture sur les lèvres qui travaille au niveau des phrases." Pour cela, le programme s’appuie sur un système de réseaux neuronaux convolutionnels, inspiré par le cortex visuel des animaux, et utilise des systèmes de calcul Nvidia spécialisés dans le Deep Learning (serveur DGX-1 et cartes GTX Titan X). Notons que le projet a été financé en partie par la société DeepMind de Google. L’apprentissage du système a consisté à le "nourrir" avec 29 000 vidéos de 3 secondes et leurs textes correspondants.

Si les premiers tests de LipNet sont encourageants, le programme n’a pour l’instant été testé qu’avec des phrases comportant des structures grammaticales similaires. Il faudra procéder à d’autres tests, plus proches de la réalité, pour vérifier si LipNet est capable de vraiment tenir ses promesses.