Mistral OCR 3: entre bases solides et petits ratés, on a essayé l'outil de reconnaissance d'écriture dopé à l'IA conçu pour retranscrire notes manuscrites et documents dactylographiés

Lancé le 17 décembre, Mistral OCR 3 est présenté comme un modèle capable de numériser des documents manuscrits ou encore d'analyser des factures de façon fidèle. La promesse est belle, partiellement tenue, mais le résultat loin d'être parfait.

Vous avez un document papier et vous souhaitez le numériser? Mistral a peut-être la solution pour vous. La décacorne française de l'IA a récemment présenté la troisième version de son modèle de reconnaissance optique de caractères (OCR), introduit en mars 2025. Baptisé Mistral OCR 3, il est "conçu pour extraire du texte et des images intégrées à partir d'une large de documents avec une fidélité exceptionnelle", a-t-elle assuré dans un communiqué.

S'agissant de la troisième itération du modèle lancé en mars dernier, il peut comprendre le contenu et la structure des documents, selon Mistral. Il y parvient en partie enprenant en charge le langage de programmation Markdown, qui vise à rendre un texte lisible et structuré.

Un modèle à améliorer pour les documents manuscrits...

Grâce à ce modèle d'IA, il est possible de numériser des documents manuscrits, plus ou moins anciens, ou dactylographier, il est ensuite possible d'analyser des factures et des formulaires ou encore d'extraire du texte de rapports techniques et scientifiques, promet l'entreprise.

Selon Mistral, il est possible de numériser des documents manuscrits ou historiques avec Mistral OCR 3. © Capture d'écran / Mistral

Disponible sur la plateforme de production Mistral AI Studio, Mistral OCR 3 est cependant loin d'être parfait, a constaté Tech&Co. La promesse de l'OCR est presque aussi vieille que l'informatique personnelle et si les progrès sont réels, le diable se terre toujours dans le détail.

Mistral OCR 3 a très vite montré ses limites avec des notes manuscrites pour lesquelles on ne s'était pas appliqué pour l'écriture. Au temps pour sa carrière de pharmacien...

Le modèle d'IA a commis une erreur avec le premier document. © Tech&Co

Nous lui avons soumis nos notes prises lors d'un événement autour de l'IA organisé chez Microsoft. Il n'est pas parvenu à bien retranscrire nos notes dans leur entièreté. Pour la première photo, il ne s'est toutefois trompé qu'une fois, écrivant "Plan over l'IA du gouvernement" à la place de "Plan Osez l'IA du gouvernement". On peut donc applaudir la performance.

Mistral OCR 3 a cependant commis davantage d'erreurs lors de la seconde tentative. "Engagement vis-à-vis de la cybersécurité, la renforcer" est, par exemple, devenu "Engagement vis-à-vis de la cybercouncil d'athènes", tandis que "Former 1 million de Français à l'IA d'ici 2027" s'est transformé en "Fermer 1 million de Français à l'IA d'ici 2027"... Que ce soit "former" ou "fermer", voilà tout un programme.

Mistral OCR 3 n'a pas reconnu les mots en anglais. © Tech&Co

Ce test a également permis de constater que le modèle avait du mal avec les termes en anglais, sans doute parce que la plupart des notes sont en français. Pour "malwares" (logiciels malveillants), Mistral OCR 3 a lu "maturités". Et "Naive / A l'Eur" pour "Nouvel AI Tour".

De même, il vaut mieux éviter les documents avec des abréviations car il n'arrive pas à les interpréter correctement. "m̂" (pour même) est ainsi devenu "mi" et "adopt°" s'est transformé en "adopt'". Peut-être lui faudra-t-il un peu de temps pour apprendre ces astuces. Mais l'OCR a toujours nécessité une relecture plus ou moins rapide et quelques ajustements.

... et dactylographiés

Sans surprise, Mistral OCR 3 s'en est beaucoup mieux sorti avec les documents dactylographiés. Mais étonnamment, il a commis des erreurs alors que nous l'avons testé avec les mêmes textes mis en avant par l'entreprise française dans ses démos.

Mistral OCR 3 a ajouté des informations qui ne figurent pas sur la lettre. © Tech&Co

Le premier est une lettre remontant à décembre 1922. Le modèle a bien retranscrit toutes les informations qui y figurent, même pour les mots dont des lettres se sont en partie ou totalement effacées. Mais il a aussi interprété une suite de caractères illisibles (à gauche, en dessous de "Portsmouth, N.H.") comme étant les chiffres 19-1-294. Chiffres qui ne se sont pas présents sur la démo de Mistral.

Mistral OCR 3 a rencontré quelques difficultés avec les mots qui se mangent entre eux. © Tech&Co

Et Mistral OCR 3 a rencontré plus de difficultés avec le second document, un formulaire de la Croix-Rouge américaine remontant à mars 1920. Dans l'ensemble, la retranscripttion est cohérente, et la mise en forme est conservée, ce qui est parfois problématique avec certains outils d'OCR. Mais, contrairement à la démo de l'entreprise, le modèle d'IA n'a pas repéré certains mots, lettres ou caractères spéciaux. Un problème lié au fait que dans certains cas, la réponse est en partie écrite sur la question dans le formulaire. Cela pourrait être un peu compliqué pour un humain, et devient une véritable impasse pour une IA.

Le modèle semble en tout cas ici faire la preuve de sa capacité à interpréter les mises e forme complexe, les différences de texte, etc. Récupérer un document numérique propre et fidèle à la mise en page originelle est déjà en soi un victoire.

Mistral OCR 3 n'arrive pas à lire les mots qui se mangent entre eux. © Tech&Co

Pour "From Nursing Department", il lit par exemple "Fr. Nursing Department". De même, "Date: March 1, 1920" devient "March 1, 1920". Le point d'interrogation est également absent dans certaines questions, avec comme résultat aucune séparation entre la question et la réponse: "What allowance, if any, for transportation in United States to New York and return".

Conclusion

Mistral OCR 3 n'est donc pas parfait. Mais attendait-on qu'il le soit? Il sera en tout cas sans doute utile pour numériser en masse et dégrossir le travail de retranscription de notes manuscrites. Il faudra toutefois mieux vérifier les informations retranscrites avant d'éventuellement jeter les originaux. Les erreurs peuvent être rares ou fréquentes, en fonction de votre écriture, mais la vigilance doit être soutenue. De même pour les documents dactylographiés, même s'il s'en sort beaucoup mieux et ce sera ainsi très pratique pour numériser des cours imprimés, des articles pour une recherche ou une correspondance d'un autre temps. L'OCR est une longue et ancienne quête, que l'IA s'en mêle est une bonne nouvelle et devrait forcément aboutir à des résultats plus pertinents et efficaces.

Mistral a parcouru bien du chemin en l'espace d'une minuscule année, on ne peut qu'être impatient en attendant Mistral OCR 4.