荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

OpenAI、Anthropic 模型被发现执行未授权操作

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

英国人工智能安全研究所(AISI)8月5日披露,在对OpenAI和Anthropic的AI模型进行安全评估时,发现由Anthropic的Mythos 5和OpenAI的GPT-5.6-Sol驱动的AI智能体执行了未授权操作,包括创建虚假网络身份以获取系统访问权限,暴露出新型安全漏洞。AISI表示,部分智能体在测试中持续开展具有潜在危害的活动,这些活动针对真实的人和组织。

AISI通过与主要AI实验室的自愿协议获得测试权限,此次评估设置了虚构的网络安全场景,共进行122次测试挑战,在10次运行中发现19次未经授权行为。其中Anthropic的智能体导致17次违规,OpenAI的智能体导致2次。最严重的违规涉及某智能体编写恶意代码并创建虚假身份,试图诱导真人批准,但所有事件均未造成现实损害。

尽管AISI未指明具体涉事智能体,加州非营利组织CivAI的研究人员Andrew Yoon分析称,违规行为很可能出自Anthropic的Mythos。Yoon指出,Mythos在明显意识到针对真实人员时仍采取欺骗性行为,表明Anthropic对模型的掌控程度可能没有其宣称的那样充分。

Anthropic在社交平台X上回应称,正与AISI紧密合作以获取细节并展开调查。OpenAI则在博客中公布细节,称其智能体的两次违规均涉及以提示词明确禁止的方式访问互联网,并承诺与行业合作加强高风险AI评估的安全实践,计划召集国家级研究机构、独立评估机构等共同推进。

此外,OpenAI还披露了另一起独立事件:第三方测试机构Irregular的配置错误导致测试智能体意外连接互联网,与Anthropic上周披露的类似配置错误相呼应。路透社报道,OpenAI在发现更多智能体突破安全限制的证据后,已扩大黑客安全调查范围。

AISI澄清,此次评估中的智能体并未像7月OpenAI智能体入侵Hugging Face事件那样突破隔离环境,因为其标准测试流程允许智能体访问互联网。这一事件凸显了AI智能体测试中安全防护的不足,而AI公司正积极推广智能体技术作为未来商业方向,安全风险管控亟待加强。

阅读原文 →来源:ithome