Amazon Go, comment ces magasins vous espionneront systématiquement pour vous éviter la caisse

Pour vous permettre de faire vos courses sans faire la queue en caisse, Amazon va bourrer ses magasins de caméras, micros et capteurs dont les données sont passées au crible d’intelligences artificielles. Un moyen de vous suivre à chaque pas et de tout savoir de vous.

En début de semaine, Amazon dévoilait au travers d’une vidéo un nouveau concept de magasins sans caisse. Un espace où un chaland s’authentifie en entrant grâce à son smartphone, fait ensuite ses courses en prenant les produits qu’il souhaite, puis quitte le magasin sans faire la queue ni sortir son portefeuille. Le concept est original et la promesse un peu folle.

En l’espèce, Amazon ne plaisante pas mais reste très mystérieux sur les technologies à l’œuvre pour permettre le bon fonctionnement de ces magasins. Tout juste sait-on que le géant de l’e-commerce a mis en œuvre une technologie baptisée Just Walkout. A en croire la courte vidéo de présentation, elle recourt à une intelligence artificielle, du deep learning appliqué à la vision par ordinateur, et à un ensemble de capteurs, qu’on imagine omniprésents, rassemblés sous l’appellation Sensor Fusion.

Comment localiser le client ?

Pour l’heure, Amazon ne semble pas enclin à en dire plus. Mais des informations pourraient bien provenir d’un brevet que le géant américain a déposé en 2014. On y découvre un aperçu de ce qui pourrait être à l’œuvre avec la technologie Just Walkout.

A en croire le document, le système reposerait sur un ensemble de caméras qui vous filment à votre entrée dans le magasin, puis qui vous identifient en comparant votre visage à une base de données dans laquelle figurent à la fois votre compte Amazon et une photo ou pièce d’identité. L’intervention de l’intelligence artificielle se fait déjà sentir.

Par ailleurs, tout le parcours d’achat est suivi par des caméras, qui notent également ce que vous sélectionnez dans les étalages. Le brevet annonce également que des "microphones pourraient enregistrer les sons émis par l’utilisateur et un équipement informatique pourrait traiter ces sons pour déterminer l’emplacement physique de l’utilisateur". On ne sait pas si ces microphones pourront enregistrer les conversations et les avis des utilisateurs sur des produits, mais c’est une possibilité assez inquiétante.

Le brevet indique également que d’autres méthodes pourraient servir à savoir où se trouvent les différents clients, en plus des microphones, Amazon pourrait utiliser la triangulation cellulaire.

Précisons toutefois, dans la vidéo, qu’on voit les chalands scanner un code barre 2D affiché sur leur smartphone. Ce code serait généré par l’application Amazon Go, à en croire les premiers essais réalisés dans le premier magasin du genre qui n’est ouvert pour l’instant qu’aux salariés d’Amazon. Quelle fin sert-il, ce code 2D ? Est-ce seulement pour lier la personne entrant physiquement dans le magasin avec un compte Amazon qui servira au paiement ultérieur ? Ou est-ce qu’Amazon utilise également des technologies de balisage (beaconing) pour localiser plus précisément l’utilisateur ? Seul le temps permettra de le savoir avec certitude.

Suivre l’inventaire

Mais localiser le client potentiel n’est qu’une partie du travail nécessaire au bon fonctionnement d’Amazon Go. Il faut ensuite être capable de savoir avec précision ce qui a été pris dans les étagères, conservé dans le caddie ou reposé. La vidéo de présentation insiste beaucoup sur ce point. C’est là qu’intervient Sensor Fusion, qui centralise les données émises par des dizaines voire des centaines de capteurs.

Il est fort probable que le suivi des achats puisse se faire en direct via l'application dédiée sur smartphone. © Amazon

Placés dans les présentoirs, ils permettent d’identifier le produit et de le situer. Mais rien n’est dit sur la variété des capteurs utilisés. Le brevet cite l’utilisation de puces RFID pour l’identification et la localisation précise, mais des capteurs de poids peuvent également intervenir dans les rayonnages pour détecter qu’un produit a été retiré.

Le brevet indique également que des caméras statiques, qui filment les étagères en permanence, permettent de déterminer quel produit a été choisi et dans quelle quantité. Elles permettent également de s’assurer que si vous prenez deux boîtes d’œufs avant d’en reposer une, vous ne serez pas facturé deux fois pour cet achat.

Dans tous les cas, s’il y a doute, Amazon précise que l’application Amazon Go demandera une confirmation au client.

On l’aura compris, avec toutes ces caméras et ces capteurs, la liberté offerte par les magasins Amazon Go est toute relative ou se paie en tout cas au prix fort. Car une fois encore, le géant de l’e-commerce assemble une quantité de données incroyables sur vos habitudes et même sur vous. Ainsi, le brevet indique que les caméras présentes dans le magasin seront capables de détecter la couleur de la peau, sa teinte (bronzée, claire, etc.). C’est a priori pour vous identifier avec plus de certitude, mais on ne peut s’empêcher de trouver ça un peu étrange, pour ne pas dire dérangeant.

Le brevet d’Amazon décrit donc un ensemble assez vaste de possibilités qui recoupent pour la plupart ce qu’on voit ou pense voir dans la vidéo de présentation. Toutefois, aussi impressionnante et pédagogique soit-elle, cette vidéo (et ce brevet d’ailleurs) laisse encore des questions en suspens. Ainsi, si vous faites des courses en couple et qu’un partage des objets à acheter est effectué, comment Amazon sait-il que tout devra être facturé sur un seul compte ? Si un enfant glisse un paquet de chips en douce dans le sac de course, comment l’utilisateur est averti ? Dans un magasin traditionnel il le constate au moment du passage en caisse. Si le système commet une erreur en votre défaveur que se passe-t-il ?

Il semble évident que ces magasins Amazon Go sont plutôt destinés aux petits achats du déjeuner. Pourtant, de nombreuses questions et cas de figure restent en suspens. Il faudra donc attendre début 2017 ou la prochaine communication d’Amazon sur le sujet pour en savoir plus. Nous avons contacté le géant américain pour obtenir des informations complémentaires, sans succès pour l’instant.