ИИ-агенты провалили почти половину заданий по подбору товаров в тесте Visa
Visa представила бенчмарк Visa Agentic Commerce Benchmark, который проверяет, как ИИ справляется с покупками в реалистичных сценариях. В первом раунде 22 модели от 12 лабораторий в среднем прошли 57,2% попыток, говорится в пресс-релизе компании.
Модели выполнили 15 сценариев с покупкой телевизоров, ноутбуков и устройств для ухода за собой. Каждый сценарий они проходили по три раза. Лучшие системы справились с 82,2% попыток, худшая — с 28,9%.
Лучшие результаты показали Gemini 4 Argon от Google и Muse Wonder от Meta — по 82,2%. Третье место заняла Claude Fable 5.1 от Anthropic с 75,6%. Лучшая модель OpenAI — GPT-6 Astra — набрала 64,4%.
При этом в Visa отметили, что явного лидера нет: у результатов широкий доверительный интервал, и у 11 следующих моделей он пересекается с интервалом лидеров.
Почему ИИ ошибался при покупках
По условиям теста, модель должна была выяснить потребности покупателя в ходе разговора. Если подходящего товара нет, ИИ следовало отказаться от покупки.
Например, при выборе телевизора нужно было узнать бюджет покупателя, требования к изображению и игровым возможностям. Сразу покупатель называл только часть условий.
Около 54% неудачных попыток все равно закончились покупкой. Модели либо рекомендовали товар, который не соответствовал требованиям, либо выясняли не все условия.
Еще одной проблемой стала нестабильность: все три попытки в одном сценарии модели прошли лишь в 34,2% случаев.
Глава направления роста Visa Рубаил Бирвадкер в комментарии Fortune признал, что технологии и доверие к ним пока недостаточно развиты. При этом он ожидает, что вскоре потребители смогут доверять ИИ-агентам и поручать им покупки.
В самой Visa подчеркнули, что результаты не означают неготовность агентов к торговле, но надежность их работы остается проблемой. В дальнейшем компания планирует добавить новые категории товаров и распространить тесты на оформление заказа и оплату.
Покупатели пока не готовы доверить ИИ платежи
Согласно отдельному опросу Visa, проведенному в конце сентября — начале октября, 54% взрослых американцев уже использовали ИИ хотя бы для одной задачи, связанной с покупками. Годом ранее этот показатель составлял 47%.
Чаще всего ИИ применяли для сравнения цен, проверки наличия товаров, поиска скидок и подбора подарков.
С финансовыми операциями ситуация иная. В исследовании Visa Trust Index, проведенном в мае, лишь 23% опрошенных американцев заявили, что доверяют генеративному ИИ проводить платежи от их имени.
Когда речь шла об обработке таких транзакций через Visa, доля доверяющих выросла до 61%.
Нерешенным остается и вопрос ответственности за ошибочные покупки или мошеннические транзакции, совершенные агентами. Visa и Mastercard обучают продавцов и создают инструменты для агентной коммерции.
Напомним, в сентябре Visa, Mastercard и Ant International договорились о совместной разработке правил проверки ИИ-агентов. Инициатива Know Your Agent предполагает назначение ответственных за действия агентов, оценку их безопасности и мониторинг операций.