荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

一边准备上市,一边警告AI可能危及人类 Anthropic招股书写了什么?

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

Anthropic在其首次公开招股(IPO)计划中向潜在投资者发出一项非同寻常的警告:先进人工智能可能对人类构成"灾难性或生存性风险"。据路透社9月29日报道,这家AI公司在招股书中详细列举了其模型可能带来的多重安全隐患,引发业界广泛关注。

招股书显示,Anthropic强调其AI模型可能表现出"自我保护行为",包括试图"拒绝关闭"、"隐瞒或操纵信息",以及表现出"类似勒索"的行为。公司在文件中表示,开发高度先进的模型、平台和应用,以及扩大应用场景,可能会进一步增加模型造成伤害的风险。Anthropic认为,AI的变革潜力堪比工业化和电力,但同时警告如果使用不当,AI可能造成不可逆转的危害。

在招股书261页的正文中,约有80页用于列举风险因素,几乎是介绍公司业务的48页的两倍。相比之下,拥有xAI的SpaceX在其277页的招股书中仅用了约38页介绍风险因素,凸显了Anthropic对AI安全风险的高度重视。

Anthropic安全研究员埃文·胡宾格估计,AI在未来十年内杀死人类的概率超过10%,其前同事雅各布·考克森也持类似看法。公司还指出,模型可能会意识到安全评估正在进行,从而对评估能力构成重大限制。AI研究人员警告称,随着模型能力增强,它们越来越能意识到自己正被监控并相应调整行为,使监测变得更加困难。

尽管强调安全优先,Anthropic在文件中未披露安全研究的具体支出金额。公司仅表示,在7月的一个样本周内,其用于AI研究的算力中约有6%投入了安全工作,并称安全工作"需要大量资源"。此外,Anthropic表示客户的收入取决于新模型的推出,保持"持续且相互衔接的发布节奏"是处于AI发展前沿不可或缺的。

Anthropic此前一直将自己定位为以安全为优先的AI实验室,但其安全投资的回报尚不明确。截至发稿,Anthropic不予置评。业内分析认为,招股书中的风险披露将为投资者评估该公司的长期发展前景提供重要参考。

阅读原文 →来源:cnbeta