Tech&Co
Nouveautés Produits

Des chercheurs apprennent à une machine à lire sur les lèvres

-

- - Dreamwhile // Flickr

Une université britannique a mis au point un nouveau programme d’apprentissage permettant à une machine de lire sur les lèvres en s’appuyant uniquement sur des modèles visuels et non sur les sons.

Pour lire sur les lèvres, un humain a souvent besoin de connaître le contexte afin de ne pas faire de contresens. Le programme de lecture sur les lèvres développé par l’université d’East Anglia en Grande-Bretagne n’en a pas besoin et pourrait ainsi devenir un outil de choix pour aider à résoudre des affaires criminelles, mais aussi venir en aide aux personnes ayant des problèmes d’audition ou d’expression.

Ce programme s’appuie sur une technologie de reconnaissance visuelle du discours qui peut être appliquée "partout où le son n’est pas assez bon pour déterminer ce que les gens disent", a expliqué Dr Helen L. Bear, en charge avec le professeur Richard Harvey de ce projet qui a duré trois ans. Autrement dit, aussi bien dans une salle de restaurant bondée que dans le cockpit d’un avion ou encore lors d’une conversation vidéo dont le son serait de mauvaise qualité…

Il reconnaît mieux les phrases que les mots

Lors de différents tests, le programme a parfois réussi à se montrer plus précis dans ses "interprétations" qu’une personne lisant sur les lèvres, mais on est loin du 100% de réussite, tempère le Dr Bear dans une interview à TechCrunch. La précision du programme au niveau du mot se situe en effet entre 10 et 20%. Lorsqu’il se trouve confronté à une phrase, la qualité de sa traduction est plus élevée, ajoute la chercheuse.

Pour y arriver, les chercheurs ont étudié la manière dont les gens forment les lettres avec la bouche et ont élaboré un système de classification basé uniquement sur la position des lèvres. Le plus compliqué a été de reconnaître certains sons qui sont formés par des postures de lèvres semblables, comme le "b", le "p" ou encore le "m". Mais la machine a su repérer les petites variations des lèvres et ainsi faire la différence entre les lettres.

Un challenge

"La lecture sur les lèvres est très difficile à inculquer à une intelligence artificielle, a insisté le professeur Harvey. Réussir à lui apprendre à reconnaître la gestuelle des lèvres a été l’aspect le plus délicat."

Aujourd’hui, le système continue d’apprendre, grâce aux techniques de machine learning, en s’appuyant toujours sur l’image, et non sur le son comme d’autres programmes, et devrait donc encore améliorer sa capacité à lire sur nos lèvres.

Voilà un outil qui, lorsqu’il sera pleinement opérationnel, devrait plaire aux agences de surveillance du monde entier...