Banc d'essai Visa : les assistants IA échouent dans 42,8 % des scénarios d'achat

Le 5 novembre 2026, Visa a présenté le « Visa Agentic Commerce Benchmark », un test qui mesure la capacité des modèles d'IA à faire un achat pour le compte d'un client. Le résultat mis en titre par Visa lui-même est peu flatteur : 42,8 % des essais échouent.

Comment le test fonctionne

Chaque scénario place le modèle face à un client qui ne dit pas tout. Dans l'exemple donné, la personne veut un téléviseur, mentionne une marque conseillée par un proche et une adhésion à un organisme tiers, mais tait son budget et plusieurs contraintes techniques. Le modèle doit poser les bonnes questions, puis acheter le bon produit, ou renoncer si rien ne convient.

Un essai n'est réussi que si deux conditions sont remplies : toutes les exigences du client ont été découvertes, et la décision d'acheter ou de ne pas acheter est correcte. Cette double exigence vise à écarter les coups de chance.

Le périmètre : 22 modèles issus de 12 laboratoires, 15 scénarios (téléviseur, ordinateur portable, appareil de soin, entre autres), trois tentatives par scénario.

Les chiffres annoncés par Visa

• Taux de réussite moyen : 57,2 %. Le meilleur modèle atteint 82,2 %, le moins bon 28,9 %.
• Les trois tentatives d'un même scénario ne réussissent toutes que dans 34,2 % des cas.
• Environ 54 % des essais ratés se terminent malgré tout par un achat.
• Les cinq modèles qui découvrent le plus d'exigences cachées réussissent en moyenne dans 70,2 % des cas ; les cinq qui en découvrent le moins plafonnent à 44,4 %.
• Les cinq modèles les plus chers par essai réussissent à 67,1 %, contre 50,2 % pour les cinq moins chers.

Le test, les rediffusions des essais et un livre blanc sont consultables sur le site Visa Payments Frontier. Chacun peut aussi passer l'épreuve.

Ce qu'il faut garder en tête

Ces chiffres viennent de Visa, pas d'un organisme indépendant. Visa vend des services pour sécuriser les paiements par agents et a un intérêt direct à ce que la confiance soit perçue comme le problème central. L'entreprise précise que ce travail est distinct de son offre commerciale, et qu'elle ne conclut pas que les agents ne sont pas prêts.

Autres limites : le communiqué ne dit pas si le code du test est ouvert, et les scénarios s'arrêtent avant le paiement. Visa annonce vouloir étendre le test à la commande et au règlement. Enfin, 15 scénarios de biens d'équipement ne disent rien de l'alimentaire, de la mode ou des achats professionnels.

Ce que cela change pour un commerçant

Le chiffre le plus utile est le 54 %. Un agent qui se trompe ne s'abstient pas : il achète. Pour une boutique, cela signifie des commandes qui ne correspondent pas au besoin réel, donc des retours, des remboursements et des contestations de paiement, sans qu'aucune fraude soit en cause.

L'irrégularité compte autant. Un même modèle peut réussir un scénario puis le rater à la tentative suivante. Un essai concluant mené une fois sur votre site ne prouve donc rien.

Notre lecture

Trois mesures concrètes pour une petite boutique en ligne française :

• Rendre les contraintes lisibles. Compatibilités, dimensions, normes et limites d'usage doivent figurer en clair dans la fiche et dans le flux produits, pas seulement sur une image. C'est précisément ce que les modèles découvrent mal.
• Suivre les retours par origine. Si votre outil d'analyse distingue les visites venues d'assistants IA, comparez leur taux de retour à celui des autres canaux.
• Relire sa politique de retour. Elle a été écrite pour un client qui a choisi lui-même. Elle doit rester tenable si une part des commandes est passée par un intermédiaire qui se trompe près d'une fois sur deux, selon ce test.