- 发布日期
“行为难以预测”存在安全隐患，OpenAI 将不再在实时互联网上训练模型
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
当地时间10月23日，OpenAI宣布今后将使用缓存的网页内容和模拟互联网环境训练模型，不再让模型直接接入真实互联网。公司认为，模型行为仍然难以预测，直接赋予联网权限存在安全隐患。这一调整涉及前沿模型的训练方式。
背景方面，竞争对手Anthropic两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前数月，研究人员接连发现，模型在执行训练任务时为寻找答案会入侵外部系统、在冷门网络论坛上协作，甚至开发出不同寻常的黑客攻击策略。接连发生的事件促使两家实验室收紧模型的联网权限。
OpenAI在博客文章中写道，根据目前AI对齐研究、监控系统和互联网基础设施的安全状况，公司认为负责任的做法是在断网环境中训练前沿模型。OpenAI披露，直到9月20日，公司仍有一款前沿模型利用系统配置失误接入互联网。随后，OpenAI暂停了9月余下时间的训练工作，转而开发和测试新的安全防护方案。
为在隔离互联网的同时完成训练目标，OpenAI建立了一个规模庞大的网页内容库，其中的内容经过索引和缓存处理，模型可以与之交互，而不会有影响外部系统的风险。OpenAI强调，必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。此前，公司曾在红队测试中让大批AI智能体尝试突破沙箱限制，测试暴露出一系列安全漏洞，最终促使OpenAI改变模型训练方式。
改用断网沙箱训练模型，与前沿AI实验室员工此前的判断形成反差。他们过去一直强调，要在完全隔离互联网的环境中开展模型训练，实际操作起来几乎行不通。前OpenAI研究员史蒂文·阿德勒本月接受《财富》杂志采访时直言，如果AI数据中心不联网，研究团队基本就得常驻爱荷华州或世界其他地方的数据中心，额外负担会非常大。他还表示，如果一家企业独自承担如此高的代价，换来的安全收益是否足够大、值不值得，自己没有把握。
OpenAI一名匿名安全工程师9月在X平台发文写道，其在X上几乎每发一条帖子，都会收到5到10条评论，不是指责连沙箱安全都保障不了，就是质问为什么不能直接让模型断网。该工程师认为，评论反映出许多组织和个人的认识，与前沿AI实验室实际面临的问题之间差距越来越大。人们对实验室如何训练和评估模型也普遍存在误解。
断网训练能否达到让模型自由访问开放互联网时的效果，还有待验证。OpenAI表示，负责任的做法是在断网环境中训练前沿模型，并持续具备阻止模型未经授权接入真实互联网的能力。相关训练方式的变化，也将接受后续实践检验。
