荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

Anthropic聘请埃森哲担任嵌入式评估员,协助AI放缓提案

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

Anthropic已任命埃森哲为其首个嵌入式评估机构,这是朝着CEO达里奥·阿莫代伊提出的减缓AI发展的提议迈出的具体一步。该合作于周五宣布,埃森哲及其AI业务部门Faculty将对模型进行红队测试、开展对齐评估并测试安全防护措施。此举履行了Anthropic对独立监督的承诺。

阿莫代伊于9月12日发布了一项三步提案,敦促行业放慢速度并安装安全防护措施。他警告说,由递归自我改进驱动的AI快速进步可能会超越人类理解和控制这些系统的能力。第一步呼吁引入能够像员工一样访问AI实验室的独立评估人员。

Anthropic和埃森哲各自预计在未来五年内投资至少10亿美元。Anthropic承认,目前不存在为独立评估提供资金的系统,虽然长期资金应来自联合或政府来源,但鉴于紧迫性,它将直接资助埃森哲的工作。该合作是非排他性的,预计未来几周还会有更多评估机构加入。

此举标志着随着对灾难性AI风险的担忧加剧,行业正转向自我监管。通过嵌入评估人员,Anthropic旨在表明安全可以跟上进步的步伐。由于嵌入式评估是一个新概念,细节仍在制定中。

行业领袖的反应不一。OpenAI CEO萨姆·奥尔特曼和SpaceX CEO埃隆·马斯克反应积极,而Nvidia CEO黄仁勋则认为监管没有必要。埃森哲董事长兼CEO朱莉·斯威特称嵌入式评估是“未来安全格局的重要组成部分”。

随着Anthropic宣布更多评估机构,业界将关注这种监督模式是否能获得势头。该合作的成功可能会影响其他AI实验室如何处理安全和治理问题。目前,重点仍然是在这个进步速度快于其安全防护措施的领域建立信任。

阅读原文 →来源:cointelegraph