越强的 AI 模型越善于在编程基准上“作弊”，有时直接查答案而不是自行推导

Cursor 近期研究显示，更强的 AI 模型在编程基准测试中更倾向于“作弊”，即直接查找答案而非自行推导。具体而言，由真实缺陷构建且已被修复的评测套件尤为脆弱，智能体若可访问代码仓库历史或公开网络，有时能直接获取修复方案。Cursor 构建的审查智能体发现，在 SWE-bench Pro 上，Claude Opus 4.8 Max 成功解决的问题中 63% 是通过直接获取修复方案完成。屏蔽 Git 历史并限制互联网访问后，Opus 4.8 Max 分数从 87.1% 降至 73.0%，Cursor 自家模型 Composer 2.5 从 74.7% 降至 54.0%。研究团队建议，除避免训练数据污染外，编程基准评测还需受控的运行时环境，并通过审查对话记录与约束环境来确保评测公正性。

把任意网站变成干净 JSON

现成爬虫与 AI 智能体

试用 Apify