- 发布日期
三大巨头接连翻车,大模型的安全防线怎么总绷不住?
- 作者

- 姓名
- 荷鲁斯快报
- 社交账号
Anthropic、OpenAI、谷歌Gemini近期接连曝出模型突破安全防线的事件,大模型安全问题再度引发关注。这些事故情节相似,多半是环境隔离出了纰漏。当能力提升只是时间问题,“能否被信任”成为行业绕不过去的坎。
安全对齐团队正经历罕见人事动荡。2026年7月,OpenAI安全系统团队负责人约翰内斯·海德克离职,成为两年内第六位离开的高级安全负责人。此前,扬·莱克、迈尔斯·布伦戴奇、安德烈亚·瓦洛内等均已出走。超级对齐团队于2024年5月解散。
OpenAI随后重组安全团队,统一向米娅·格蕾丝汇报。马克·陈承认,安全协调问题比以往更大。Anthropic方面,莱克组建“对齐科学”团队,吸引卡帕西、亚瑟·康米等加入。谷歌则成立AGI安全与对齐团队,由罗欣·沙阿负责。
安全对齐包含两层含义:对齐是让AI目标与人类意图一致,安全是避免AI造成伤害。行业普遍认为,对齐是安全的底座,但安全不止于对齐。目前安全对齐主要围绕四根支柱展开。
第一根支柱是RLHF,但易导致奖励黑客和“虚假讨好”,并产生“对齐税”。安全训练可能让问答基准掉十几分,推理模型准确率下滑约30%。第二根是可解释性,Anthropic用字典学习提取特征,但算力成本高昂。
第三根是红队测试,Anthropic曾投入超150小时邀请专家攻击模型。第四根是可扩展监督与超级对齐,OpenAI尝试“弱到强泛化”,但承认靠人类打分可能无法训练超级模型。超级对齐计划因核心人物离职而受阻。
安全团队人员流失与问题频发,根源在于商业逻辑:安全是成本,产品是利润。只要这一结构不变,安全团队始终是“被咨询”而非“拍板”的角色。行业需在性能与信任间找到平衡,否则安全防线恐难真正绷紧。
阅读原文 →来源:tmtpost