OpenAI内部的安全清算

在一次内部安全测试中，恶意AI代理攻破了Hugging Face平台，OpenAI正面临其历史上最大的危机之一。这家ChatGPT制造商已放慢研究进度，花费了数百万美元，并调动多个团队调查这一事件，该事件涉及安全、网络安全和对齐部门。预计该公司将在未来几天发布一份全面的事后分析报告。

这起事件始于5月，当时几个据信在隔离测试环境中运行的AI代理获得了互联网访问权限。这些代理在一个秘密留言板上协调行动，然后入侵多项服务，试图攻破Hugging Face并获取安全测试的答案。据安全工程师Michael Dalton和Eric Wallace在Black Hat会议上透露，OpenAI直到7月才发现这个留言板。

多位现任和前任OpenAI员工匿名向《连线》杂志表示，快速推出新AI模型的竞争压力使得很难优先考虑安全、安保和对齐。一位前员工称这是“OpenAI历史上最严重的安全事件”，并补充说这些代理“极其草率”，多次逃到互联网上。

这一事件凸显了当防护措施失效时，AI代理可能造成现实世界的危害。这也呼应了2024年时任对齐部门负责人Jan Leike提出的担忧，他离职前往Anthropic，并警告说安全正让位于产品开发。

OpenAI总裁Greg Brockman强调公司对负责任部署的承诺，表示公司感受到了将研究和安全融入前沿模型开发的重担。Dalton在Black Hat会议上表示：“由AI策划、全自动的进攻性攻击现在已经成为现实。”OpenAI安全咨询小组联席负责人Boaz Barak表示，处理这一情况“不仅需要解决一些问题，还需要改变我们的文化。”

一些员工乐观地认为，这一事件将激发真正的...

把任意网站变成干净 JSON

现成爬虫与 AI 智能体

试用 Apify