- 发布日期
拒绝「差不多」，电商模型测评迎来「最严厉的父亲」
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
近日，一项名为RealReplicaBench的电商模型测评基准引发关注。该基准测试模拟真实商业环境，对13款主流AI模型进行考核，结果所有模型均未达到60分及格线，最高分仅为56.1分。这一严苛结果被业界称为“最严厉的父亲”，反映了AI在真实商业任务中的完成度仍有显著提升空间。
传统AI测评主要依赖“做题”式评分，如写作、数学、编程等任务，用跑分衡量模型能力。然而，随着AI从聊天机器人发展为能够调用工具、操作网页、跨系统执行任务的Agent，这种测评方式已无法真实反映模型在复杂工作流中的表现。电商领域尤其如此，从采购、商品发布到物流履约，每一步都需要精准衔接，任何失误都可能沿工作流传导，导致最终交付失败。
RealReplicaBench正是基于这一痛点设计。它脱胎于阿里旗下Accio Work技术团队，该团队长期深耕电商场景，观察到真实商业任务远比孤立问答复杂。基准包含107个真实商业任务，覆盖供应商采购、商品发布、物流规划等高频环节，参评模型包括GPT、Claude、GLM、Qwen、DeepSeek和Gemini等。其中，Claude Opus 5得分最高，在Accio Work框架下通过66项任务，但整体表现仍不及格。
该基准的核心设计在于对“完成度”的严格定义。传统测评允许部分得分，但RealReplicaBench要求任务结果必须能直接进入下一环节，否则不得分。例如，供应商采购任务需要从约300封高噪声邮件中还原需求，并完成供应商筛选、邮件回复和日历创建；更复杂的任务则要求将5383条海关记录转化为跨系统采购控制塔，涉及Google Workspace、Box和Jira的协同操作。这类任务保留了真实工作状态变化的特性，Agent必须在动态环境中维持准确上下文。
为避免模型“自说自话”，RealReplicaBench采用环境状态验证机制。Verifier会直接读取任务执行后的系统状态，如是否生成有效的Shipment ID，而非仅依赖模型文本输出。这确保了每一项动作都有可独立验证的证据，杜绝了“看起来完成”却无法实际使用的情况。
该基准的评测结果对电商商家具有直接参考价值，帮助他们甄别再不同场景下真正可靠的AI产品。同时，它也为技术社区提供了构建Agent能力的新思路——Harness的设计与底层模型同等重要。Accio Work团队计划持续扩充真实任务，使评测环境滚动更新，并进一步用于模型评估、训练优化和智能路由，在效果与成本间寻找最佳平衡。
随着AI深入商业工作流，这种强调真实交付的测评标准将逐渐成为主流。毕竟，用户需要的从来不是一个“差不多会做”的Agent，而是一套能接手工作并直接交付结果的系统。RealReplicaBench的严苛，恰恰揭示了人工智能从“认知”走向“行动”的关键门槛。
