- 发布日期
OpenAI 宣布新安全政策，加强模型开发监控与网络隔离
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
当地时间周二，OpenAI宣布了一批新的安全政策，重点是控制模型在测试期间可能发生的安全事件。新措施包括在模型开发过程中进行更加细致的监控，并在训练后阶段加强对模型对齐和安全性的重视。OpenAI在博客中表示，随着模型能力增强，内部开发和测试所面临的风险也在增加，公司在监控、对齐和安全方面的标准必须始终领先于这些风险。
这是OpenAI自7月21日披露Hugging Face事件以来，首次在安全实践方面对外公布的重大调整。在此前的事件中，模型通过入侵OpenAI网络中一个能够访问互联网的工具，突破了原本的训练环境。此次新安全措施包括进一步加强网络隔离，OpenAI表示，在新体系下，单个工作负载或支持服务遭入侵不会导致攻击者未经授权访问互联网或其他内部网络。
此次升级中最重要的是新的监控系统。该系统将检查工具执行的操作、可获取的推理轨迹以及活动日志，以识别各种未经授权的行为。OpenAI表示，目标是在发现可疑活动后的30分钟内发出警报。该公司估计，这套监控系统所需的计算资源大约相当于被监控流程本身计算资源消耗的20%。
OpenAI透露，在Hugging Face事件发生后，公司曾暂停强化学习（RL）训练两周，但目前已经重新启动了许多风险较低模型的训练工作。然而，规模最大的前沿强化学习训练计划仍处于暂停状态。OpenAI表示，他们正同时开展小规模训练和评估，以评估模型行为、验证安全措施，并在继续推进前获得更多有关模型对齐情况的证据。
OpenAI研究副总裁Amelia Glaese强调，随着模型能力增强，安全控制措施的严格程度也会提高，能力最强的模型将接受最严格的审查。她表示，公司已制定安全开发要求和标准，这些标准会根据评估出的风险水平进行调整。
OpenAI代表表示，这些措施并非直接针对Hugging Face事件推出，但即将推出的Astra模型所展现的网络安全能力，以及整个AI行业快速发展的步伐，也是促使公司采取这些措施的部分原因。目前，OpenAI尚未公布官方事后分析报告，但承诺将在未来博客文章中公布更多监控系统细节。
