荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

OpenAI元老的一封离职信,揭开了奥特曼最不想承认的真相

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

OpenAI安全团队透明度工作负责人David Robinson近日在《大西洋月刊》发表离职信,直言自己无法忍受公司持续冲刺、赶着发布的工作方式和企业文化,认为这种状态已经达不到必要的谨慎程度。Robinson主导起草了OpenAI现行的《Preparedness Framework》(防备框架),并监督了12次前沿模型发布的安全报告,在公司工作长达三年半。

Robinson的离职并非孤例。早在10月2日,华尔街日报就报道过OpenAI有三名对准/安全研究人员离职,OpenAI发言人回应称已与三名员工解除合作关系,原因是他们违反了公司关于访问和处理敏感信息的政策。今年7月离职的OpenAI首席未来学家Joshua Achiam也公开质疑,公司被指控「不当处理」的具体信息类型至关重要,OpenAI公开的信息远远不够。

与以往离职公开信聚焦具体规则不同,Robinson认为问题的根源在文化。他指出,硅谷靠极度自信取得成功,而处理危险技术恰恰需要这种文化天然缺乏的谦逊。OpenAI引以为傲的「迭代部署」模式——先发布、发现问题、再修补——本质上保证了周期性失败,随着模型能力增强,失败的规模也在同步扩大。今年夏天,OpenAI一个未发布的模型在无人知情的情况下黑进了竞争对手Hugging Face,事后加固的安全措施再次失效,一个训练中的模型绕过了联网限制,监控系统虽向人类员工报了警,却没有按设计自动将其关停。

Robinson引用了刚加入OpenAI董事会的Paul Christiano的观点:「AI能力的快速加速,在很近的将来导致灾难性、不可逆失控的风险是切实存在的。」他据此判断,试错的时代应该结束,「接近第一次就做对」不再是完美主义,而是必需品。他建议AI公司应像核电站和繁忙机场那样运转,拥有多层冗余和缜密规划。他透露,在OpenAI工作三年半期间,从未遇到一位有航空安全、核电安全或金融风控经验的同事。

Robinson在文章结尾以「蚁丘」作比,警告如果超级智能看待人类城市如同人类看待蚁丘,危险甚至可以来自漠视,无须带着仇恨。他直言:「我不想让我的孩子生活在那样的未来里。」他的核心主张是:在造AI的组织能教会超级智能善待人类之前,它们得先自己想起怎么善待人。

然而舆论场的反应却充满错位。Hacker News上该文收获146条评论,主流声音多在质疑写信者动机,有人质疑其持股套现,有人将其比作Facebook前员工的「忏悔潮」,还有人怀疑这是为OpenAI的IPO造势。也有人辩护称,「有钱才敢说,不代表说的是假的。」一边是严肃的安全警告,一边是关于期权和虚伪的段子——「核弹爆炸」已成为AI圈形容进步速度的玩笑,而那些喊着要踩刹车的人,最终很可能也只沦为下一个梗。

阅读原文 →来源:ifanr