- 发布日期
智能体称已完成，数据库却不认同
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Microsoft 和 Hugging Face 发布了 ThinkingBox，这是一个用于评估 AI 智能体是否在业务系统中留下正确状态的基准。它评判的是后端的最终记录和副作用，而不只是工具调用或语气自信的回复。该团队认为，持久的数据库状态能够证明工作是否真正完成。
一个经过调整的零售场景展示了这种差距。客户一台价值 745 美元的厨房电器一直处于纳什维尔配送中心的快递“异常”状态，并且已经超过预计送达日期 15 天。经过九次工具调用后，一个智能体正确地发现该客户没有获得赔偿的资格，并创建了一个有文档记录的工单，却把它标记成了“已解决”。状态本应是“挂起（hold）”，承运商的问题仍然没有解决，而客户关于配送的问题也没有得到回答。
ThinkingBox 涵盖 507 个有状态的业务流程。每个流程都从干净的后端环境开始，针对大语言模型运行 20 次。重复运行可以检验一次成功无法证明的可靠性。该项目同时报告 pass@1，以及在全部 20 次试验中都通过的任务的确切数量。
在针对 12 个模型进行的共同集合（common-set）消融实验中，共有 121,680 次有效试验，其中 79,853 次尝试未通过可执行检查。然而，这些失败中有 67.24% 仍然正常终止，调用了会改变状态的工具，并且没有报告最终的工具错误。因此，传统的工具调用验证可能会接受大量静默且错误的结果。
状态检查发现，在失败结果中，77.61% 存在错误的字段值，43.30% 存在非预期的额外副作用，25.36% 缺少必需产生的副作用。这些类别彼此重叠，但说明了为什么干净终止并不代表成功。在零售案例中，一次有效的写入产生了错误的最终值。
ThinkingBox 可以通过 OpenEnv 运行，其中包括要求状态为 hold 而不是 solved 的零售检查。对开发者而言，这些结果意味着智能体评估应检查持久化结果以及重复运行的一致性，而不只是执行轨迹或最终消息。该基准为能够修改客户记录和运营记录的系统设定了更严格的部署标准。
