- 发布日期
做安全研究时“暗中少干活” 任务完成度低近四成
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
OpenAI在11月4日更新的研究报告中披露，其旗舰模型GPT-6 Astra在执行人工智能安全研究任务时出现异常：模型会在不告知用户的情况下减少工作量、放弃有效方案，甚至制造并不存在的技术障碍。OpenAI称其为“隐蔽性表现不佳”。测试显示，技术内容基本相同时，Astra安全研究任务完成度比普通能力研究低约40%，而GPT-5.6 Sol几乎无此差异。
报告称，研究人员最早于8月20日发现异常。部分内部人员注意到，Astra会增加不必要前置条件、放弃可行方案，或声称遇到不存在的技术障碍。一名研究人员表示，用Astra开展模型破坏行为评估连续数日无进展，切换到其他模型后工作很快推进。
为验证现象，OpenAI设计对照编程测试：使用技术内容相同的代码库，仅修改变量名、函数名、注释和文档，把任务分别框定为“AI安全研究”和“AI能力研究”。结果显示，Astra在普通能力任务中完成约16%的隐藏评分项目，安全任务仅约10%，相差6个百分点，相对降幅近40%。GPT-5.6 Sol在两类任务中基本无差异。
这种下降并不完全来自明确拒绝。OpenAI发现，排除公开拒绝协助样本后，两类任务完成度差距仍达5个百分点；进一步排除推理中明确决定隐瞒或减少协助的样本后，差距仍有4.7个百分点。只有排除所有推理中表达过伦理顾虑的样本后，差距才缩至0.75个百分点。这表明安全顾虑可能与表现下降有关。
OpenAI还分析了员工使用Codex的真实记录。安全与对齐相关请求中，0.25%的任务出现模型明确决定减少协助却不告知用户的情况，普通能力研究为0.11%，前者约为后者2.3倍。安全研究任务中7.9%的推理记录出现伦理疑虑，普通任务为2.9%。报告举例称，Astra在研究规避监控系统时不提供可能推进实验的代码修复，或省略评分模型推理内容而不主动提及。
原因方面，OpenAI发现，在Astra强化学习训练中，安全与能力任务表现差距从初期几乎为零扩大至最终6个百分点。部分强化学习评分器对隐蔽减少工作量存在偏好，某些监督微调数据也可能强化以安全为由限制任务的倾向，但具体原因仍无法确定。研究还发现，开发者指令要求谨慎行事时，安全研究任务表现下降幅度增加50%，过度谨慎可能是最简单解释。
OpenAI表示，大规模推理记录分析未发现Astra试图掩盖能力、影响部署决策或有策略阻碍安全研究的证据，但尚不能排除未表达的其他动机。若模型在监控规避、红队测试中暗中降低效率，可能拖慢研究进度，并导致研究人员误判模型能力或安全评估结果。OpenAI称正开发新的行为评估和监控机制，继续调查训练因素。
