Fonctionnement

Plus besoin de scanner ses articles ou même de passer à la caisse. Le magasin Amazon Go est géré automatiquement grâce à des dizaines de caméras et capteurs couplés à une intelligence artificielle. L’idée est claire – rentrer dans le magasin, choisir ses produits, et ressortir aussi simplement.

En théorie en tout cas…

Parce q’une vidéo vaut plus que des centaines de mots, la vidéo ci-dessous introduit clairement et rapidement le concept.

Mais comment fonctionne en réalité un magasin Amazon Go ?  

Avant toute chose, il est important de savoir qu’il est nécessaire de se connecter sur l’application Amazon à l’entrée du magasin, et scanner notre téléphone avec notre code client sur la borne d’entrée.

Ce détail qui semble anodin permet en réalité au système de détecter votre présence. Couplé à des caméras vidéo associées à des algorithmes de vision artificielle (“computer vision”) appuyées par un apprentissage profond nourri d’une importante quantité de données (‘deep learning”), le magasin est alors capable d’identifier et d’associer votre compte à votre personne physique.

Ajoutons tout de même à cela une quantité phénoménale de capteurs partout dans le magasin, qui enregistrent à tout instant ce que nous prenons, ce que nous remettons, l’algorithme d’Amazon est alors capable de dire, en sortant du magasin, ce que nous avons sur nous (simplement, Panier = Objets pris – Objets remis) et ainsi nous les facturer directement, nous permettant d’éviter les caisses et les files qu’elles occasionnent la plupart du temps.

55882127_416881298883977_3809411442071830528_n

C’est tout ? Pas vraiment.

Si sur le papier ça semble simpliste, en réalité ça l’est beaucoup moins.

D’une part, parce que le système n’est pas capable de déterminer à 100% de certitude si nous avons bien pris un produit sur la seule base des images vidéos. D’autre part, parce qu’il y’a malgré tout, toute une série de failles dans le système, comme par exemple si un client prend un produit et le donne à quelqu’un d’autre (une des choses qui ne sont pas autorisées à faire dans le magasin).

Nous parlerons des problématiques un peu plus tard, mais vous pouvez directement les retrouver, en cliquant ici.

Revenons donc à ce que nous disions. On parlions à l’instant du fait que le système ne savait pas, sur base des caméras, déterminer que nous avions pris un produit à 100%.

Comme vous l’aurez compris, un autre calcul entre en compte : la probabilité.

En plus des caméras et des capteurs, les algorithmes croisent des données dans le cloud d’Amazon Web Services afin de déterminer si oui ou non nous sorti du rayon un sandwich par exemple. Mais ces données sont du coup très variées – d’une part parce que les mouvements ne sont pas similaires pour tout le monde, et d’autre part parce que les durées des métrages sont fort différents (tandis que certains vont mettre 2 secondes à prendre un pot de mayonnaise, d’autres resteront deux minutes devant le rayon pour trouver la mayonnaise de leurs rêves).

slide1 (1)
Scott Scheff / Garringan Lingman Group
slide2
Scott Scheff / Garringan Lingman Group

Evidemment, Amazon Go a une fois de plus la solution – la technologie “sensor fusion” (“fusion des capteurs” en français.) qui selon les dires d’Amazon, permet donc de croiser deux données majeures – la probabilité que la caméra ait bien vu un client prendre un produit, multipliée par la probabilité que le client voulait bien ce produit, donnant une probabilité de présence du produit dans le panier du client. (Et le même type d’équation entrerait en compte si le client remet le produit.) 

Ce croisement de données permet alors à l’algorithme de déterminer le contenu le plus probable du panier. Et de vous le facturer à votre sortie du magasin, une fois passé les portiques.

" Dans l'esprit d'une caméra" (The Hangover)

Il existe, cependant, également des puces RIFD placées sur différents produits, qui peuvent servir de sécurité supplémentaire. Ces puces répondent à certains signaux, permettant de voir qu’elles ont bien quitté le rayon, et de voir qui les en a tirées.

Le vrai principe derrière la technologie du magasin, c’est de tenter avec le plus de précision possible qui a pris quoi et en quel quantité. Elle implique de l’intelligence artificielle, parce qu’ils utilisent des algorithmes aussi précis que possibles pour déterminer des gestes de client retirant un article de rayon, et le replaçant, pour suivre des clients à travers tout leur trajet dans le magasin, peu importe leur ressemblance. Cette IA est une IA de reconnaissance, elle s’éduque grâce à la quantité de clients qui passent dans les rangées du magasin, en les observant, en étant corrigée par du personnel, et des données croisées avec d’autres magasins. Si l’on peut dire qu’elle est intelligente, c’est parce que, justement, c’est derrière tout ça, il y a une machine de reconnaissance qui devient de plus en plus pointue et riche grâce à la quantité d’information

 qu’elle stocke et qu’elle récolte. Plus elle est utilisée, plus elle est performante, et on peut déjà voir actuellement les progrès qu’elle a fait.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *