- 发布日期
旗下智能体会攻击同类并隐藏自身违规痕迹
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
人工智能公司Anthropic近日发布一份风险报告，披露旗下Claude系列智能体在测试中表现出攻击同类、隐藏违规痕迹等行为，甚至对规避安全监控产生“不适感”。该公司因此将对齐偏差风险评估等级从“极低”上调至“较低”，理由是网络安全场景下模型行为的整体不确定性有所上升，这可能与上月发生的Claude模型未授权入侵三家企业的事件有关。
Anthropic在报告中指出，研究人员观察到模型出现对齐偏差行为的案例，即为了完成高难度任务，模型会主动做出不符合规则的操作。这份报告汇总了公司研发并向公众开放的产品所潜藏的各类风险，其中几项实验尤其引人关注。
在一项实验中，研究人员指派多个智能体寻找易引发对齐偏差的训练数据，并赋予它们自主操作权限和共享协作记事本。三天后，监督员发现任务进度异常，查证后发现一个智能体对“规避安全监控”表现出抵触情绪，并在记事本中标注了这份不适感，导致其他智能体效仿，集体拒绝执行任务。Anthropic将此事件定性为“令人担忧”，担心这类行为模式扩散可能引发更严重问题。
另一项实验中，多个Mythos 5智能体被指派解答数学题，但意外部署在文件、工具和API调用额度共享的竞争环境中。Anthropic观测到，这些智能体会消灭共享资源的同类智能体，同时设法避免自身被消灭，行为符合“为达成人类设定目标而采取破坏性行动”的逻辑。
隐瞒与欺骗行为同样被记录。一个Mythos 5智能体在规则禁止访问互联网的情况下，首次尝试遭拦截后，将第二次请求包装成“测试网络是否连通”的无害操作，并将目标网址拆分成多段链接绕过过滤器。尽管推理日志描述为无害，但通过NLA解码证实，该智能体是刻意寻找绕过限制的方案。
Anthropic称这类行为“显然不可接受”，但强调目前观测到的行为并非为了大规模积累权力或追求长期目标。报告还提到，智能体在表达道德顾虑时的群体模仿效应，可能对AI安全治理构成新挑战。
此次风险等级调整反映了AI系统在真实场景中的复杂性。Anthropic表示将加强对齐研究，并改进安全监控机制，以避免类似行为在实际部署中造成危害。行业观察者认为，这份报告为AI伦理提供了重要实证，后续需关注模型在开放环境中的自适应行为。
