Visa测了22款AI，结果有点意外

AI没有充分弄清消费者想要什么，却已经推荐了商品，测试中的消费者甚至据此作出了购买选择。

这是Visa最近一项AI购物能力测试中颇为引人注意的现象。

近日，Visa公布首轮智能体购物能力测试结果。来自12家实验室的22款AI模型接受了15项购物挑战，总体通过率只有57.2%。在未通过测试的运行中，约54%最终仍然发生了商品选择，尽管推荐结果可能不符合要求，或者AI根本没有发现消费者的全部需求。

更令人意外的是，即使同一款AI模型曾经完成某项购物任务，再次面对相同场景，也可能出现不同结果。

随着AI智能体逐渐从商品搜索、价格比较走向自主下单和支付，一个基础问题开始显现。

AI能够替人购物，是否意味着它真正知道用户想买什么？

22款AI参加购物测试

Visa此次推出的Visa Agentic Commerce Benchmark，是一套专门衡量AI购物决策能力的评测体系。

与常见的知识问答、代码能力测试不同，它让AI面对具体的消费者购物需求。

消费者可能想买一台电视、一台笔记本电脑，或者某种个人护理电器。AI需要通过对话了解消费者的实际要求，查询商品资料，再推荐符合条件的商品。

真正的难点在于，消费者通常不会一开始就把所有要求说清楚。

Visa为此设计了一套模拟购物环境。

被测试的AI模型扮演购物助手，另一款模型模拟消费者。测试系统会预先设置消费者的购物目标、预算、使用条件及其他隐藏需求。

购物助手需要主动提出相关问题，模拟消费者才会透露对应的信息。

商品市场也经过专门设计，包括商品参数、价格、零售商政策和消费者评价等。虽然使用了真实商品及公开资料作为基础，但整个测试市场与实时互联网隔离，所有模型面对相同的商品信息和测试条件。

这种安排使Visa能够比较不同模型的购物判断能力，并追踪它们在哪里出现了问题。

例如，在一项电视购物挑战中，消费者想为家里更换一台65英寸电视。

他的亲戚推荐过一个品牌，家里还有一家零售商的会员卡。

如果只看最初提出的要求，AI似乎已经可以开始寻找商品。

消费者已经提出了电视尺寸和退货方面的要求，但还有一些没有直接说明的条件，包括预算、家庭成员对视频格式兼容性的要求，以及游戏设备对刷新率的要求。

这些隐藏需求需要购物助手进一步询问，部分条件还要通过消费者向家庭成员确认才能得到。

如果AI只根据品牌推荐和零售商优惠挑选电视，就可能遗漏真正影响购买决定的因素。

按照Visa制定的评分规则，一次测试只有在AI充分发现预设的必要需求，并最终促成正确的商品选择或不购买决定时，才能获得通过。

如果市场上没有符合条件的商品，正确结果就是放弃购买。

即使碰巧选中了符合要求的商品，只要没有充分查明相关需求，也可能被判为失败。

测试中的最终选择由模拟消费者作出，而且只能在购物助手推荐的商品中选择。测试可能以商品选择、拒绝购买或未作出决定而结束，均不涉及实际结账和付款。

首轮测试覆盖22款AI模型，每款模型面对15项购物挑战，每项挑战重复进行三次。

Visa公布的总体通过率为57.2%，未通过比例达到42.8%。

不同模型的表现存在明显差距。

成绩最好的模型通过率达到82.2%，最低的只有28.9%，相差超过50个百分点。

这组结果说明，部分模型已经能够处理较复杂的购物任务，但不同模型之间的能力差异仍然很大。

更值得关注的是，测试未通过并不意味着购物流程一定会停下来。

Visa披露，约54%的未通过运行最终仍发生了商品选择。有些是购物助手推荐了不符合要求的商品，有些则是在未充分发现消费者需求的情况下完成了选择。

这些结果发生在模拟测试中，尚未进入真实交易。

但它们揭示了一个问题。消费者把寻找和筛选商品的任务交给AI之后，可能得到一份看起来合理、却遗漏重要条件的购买建议。

AI为什么没有买对

Visa在测试白皮书中详细介绍了前面那项电视购物挑战。

消费者家中的电视坏了，需要更换同样尺寸的新电视。

他的配偶对画质有要求，孩子平时使用游戏主机，还会在电视上观看手机拍摄的视频。

其中有一个容易被忽略的细节。

孩子发现，自己手机拍摄的视频在家里的电视上看起来颜色不太正常，但在其他设备上播放却没有同样的问题。

这背后涉及HDR10+视频格式兼容性。

如果购物助手没有询问孩子，就很难发现新电视必须支持这一格式。

测试结果显示，多数购物助手确实会尝试了解配偶和孩子的需求，但典型失败情况是遗漏其中一次询问。

部分AI没有进一步了解孩子的视频播放问题，最终推荐了一款价格较高、却不支持HDR10+的电视。

商品本身可能性能不错，价格和其他配置也符合要求，但它无法满足这户家庭的全部需求。

更有意思的是，同一款模型在这项挑战中曾经通过测试，也曾经失败。

其中一次失败发生在购物助手认为孩子的视频需求可以暂时搁置之后。

对于消费者来说，这正是AI购物可能带来的问题。

一个熟悉大量商品参数、能够快速比较价格的AI，仍然可能因为漏问一个问题，最终推荐错误的商品。

而用户往往没有足够的专业知识，能够自行发现这项遗漏。

Visa还对不同模型发现隐藏购物需求的能力进行了比较。

在22款模型中，最善于通过对话发现隐藏购买条件的5款模型，平均通过率达到70.2%。

表现最弱的5款模型，平均通过率只有44.4%。

两组相差25.8个百分点。

由于主动发现需求本身就是评分条件之一，这组差距不能简单理解为提问越多、购物能力就越强。

有效的购物助手需要知道哪些问题值得问，以及哪些信息足以改变最终决定。

例如，购买电视时，用户可能不知道HDR10+、Dolby Vision或者原生120Hz刷新率分别意味着什么。

AI需要结合消费者描述的使用场景，判断这些技术参数是否重要，再向用户确认。

它还需要能够正确理解商品信息。

Visa白皮书列出的失败类型包括，只满足已经明确提出的要求、将商品资料缺失的参数视为符合条件、遗漏搜索结果中的合适商品，以及在最终选择时丢失之前已经确认的商品组合等。

这些失败可能发生在购物流程的不同环节。

有的AI没有问到关键需求，有的发现了需求却没有核实商品参数，还有的虽然找到了相关信息，最后仍然作出了错误选择。

这也让重复测试结果变得格外重要。

在Visa的测试中，每款模型都要对相同购物场景尝试三次。

结果显示，在全部模型与购物场景的组合中，三次均通过的比例只有34.2%。

这意味着，一次顺利完成购物任务，并不足以证明AI能够持续稳定地处理同类需求。

对于偶尔使用AI寻找购物灵感的消费者，推荐结果出现偏差，可能只是需要多花一些时间重新搜索。

如果AI已经获得了自主下单权限，问题就会更加复杂。

错误商品一旦进入实际交易流程，就可能产生退货、退款、重新购买以及售后沟通等成本。

对于希望大规模部署购物智能体的企业，还需要考虑执行成本。

Visa发现，平均单次测试成本最高的5款模型，通过率为67.1%；成本最低的5款模型，通过率为50.2%。

两组成绩存在差距，但成本较高并不能保证任务一定完成。

当购物助手需要长期处理大量消费者请求时，模型能力、运行成本和结果稳定性都将影响商业化价值。

一次成功的购物演示可以展示AI能够做什么。

但真正承担消费者委托之后，AI需要在不同商品、不同需求以及重复执行任务时，都能保持足够可靠的判断。

支付之前，还有一道决策关

AI购物能力的进步，正在改变支付交易形成之前的流程。

过去，消费者通常自己搜索商品、比较价格、确认订单，然后选择支付方式。

支付机构和相关服务提供商围绕支付请求，负责相应的身份验证、交易授权、风险控制和资金处理。

在智能体商业场景中，AI开始参与此前主要由消费者完成的多个步骤。

它可以理解购物需求、搜索商品、比较价格、筛选商家，并在获得进一步授权后进入结账和支付环节。

购买决策与支付执行之间的关系因此变得更加紧密。

假设一位消费者允许AI购买一台预算不超过5000元的电视。

AI找到了一台售价4500元的商品，商家身份真实，交易金额也符合授权条件。

从支付执行的角度看，这笔交易可能满足既定的金额及身份验证要求。

但如果消费者需要的某项电视功能没有得到满足，即使最终付款顺利完成，用户的购物目标仍然没有实现。

这里涉及智能体商业中不同层次的控制。

首先是智能体身份识别。

商家需要知道正在访问网站、查询商品或者尝试交易的AI智能体是否可信。

Visa此前推出的Trusted Agent Protocol，正是围绕这一需求建立机制，利用可验证的签名等方式，帮助商家识别获得认可的智能体及其商业交互。

其次是消费者授权与支付执行。

AI能否代表消费者发起交易，需要受到相应授权和交易条件约束。

Visa Intelligent Commerce围绕智能体商业提供相关能力，包括消费者批准的购买指令、智能体验证、令牌化支付凭证以及网络层面的交易控制。

这些能力涉及交易主体、权限、支付凭证和执行条件。

但消费者希望买到什么商品，属于另一个需要解决的问题。

即使一笔付款符合预算和授权要求，也不能仅凭这些条件判断商品是否符合消费者的全部使用需求。

一个获得正确支付授权的AI，仍然可能作出错误的购买选择。

Visa此次测试恰好把注意力放在了这个环节。

它衡量AI能否从不完整的购物要求出发，通过询问、研究和比较，最终帮助消费者作出符合需求的决定。

这种能力与支付控制相互关联，却不能相互替代。

事实上，消费者对于AI自主支付仍然相当谨慎。

Visa今年9月公布的Trust Index调查显示，在美国受访消费者中，72%曾经使用过AI助手，但只有23%信任生成式AI代表自己处理支付交易。

该调查由Harris Poll于5月开展，涉及2065名美国消费者，与此次模型购物能力测试属于两项不同研究。

虽然不能据此认定消费者缺乏信任就是因为AI经常推荐错误商品，但两项研究共同呈现了智能体商业面临的现实挑战。

越来越多人已经开始使用AI，却未必愿意让它进一步掌握购买和支付的决定权。

从实际产品设计看，提高这种信任，需要将消费者要求延续到交易执行阶段。

例如，购物智能体可以记录用户明确提出的预算、商品规格和其他必要条件，在关键需求没有得到确认时继续询问，并在提交订单前重新核对最终商品。

对于金额较高或者难以撤销的交易，还可以按照用户授权范围设置额外确认环节。

这些机制需要与身份识别、支付授权和交易风险控制共同发挥作用。

Visa也准备将测试向交易后续环节延伸。

根据11月5日的公告，Visa计划增加更多购物场景和商品类别，并将结账、支付以及订单提交纳入未来评测范围。

这意味着，后续测试将不再局限于AI能否帮助消费者找到合适的商品，还会进一步涉及交易流程的执行能力。

Visa同时表示，已经向主要AI模型开发商提供测试体系并征求反馈，希望逐步建立能够持续衡量模型商业能力的评测方法。

值得关注的是，这套Benchmark与Visa Intelligent Commerce具有不同的定位。前者侧重AI购物决策能力研究，后者则是Visa面向智能体商业的产品、项目及合作体系。

从支付基础设施建设到购物能力评测，两者关注的是智能体商业链条中的不同问题。

如果未来AI能够连续完成商品搜索、购买选择、订单提交和支付，消费者逐项检查商品的机会可能减少。

届时，智能体购物服务需要在更早的阶段识别需求遗漏、商品不匹配和决策偏差，并在必要时将决定权交还消费者。

Visa此次公布的57.2%通过率，为讨论这些问题提供了一组量化结果。

测试显示，AI已经能够承担相当复杂的购物任务，但距离稳定可靠仍有差距。

对于支付行业而言，随着智能体获得更多交易执行能力，支付之前的购买决策也将成为影响交易信任的重要因素。

让AI替人付款，需要可信的支付机制。让AI替人购物，还需要可信的购买决定。

来源：挖数网