荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

Anthropic 优化 Claude Fable 5 模型生物安全机制,减少 85% 误拦截

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

美国人工智能初创企业Anthropic于8月7日发布博文,宣布正在优化其Claude Fable 5模型的生物安全防护机制,以大幅减少误拦截现象。据官方测试数据,此次更新使生物学相关问答的降级现象减少了85%,模型现可处理更广泛的生物学任务。

Anthropic在博文中指出,部分恶意用户可能利用Fable 5模型进行生物武器研究等高风险活动。为防范此类风险,公司此前专门为Claude设置了安全分类器,用于检测用户是否要求执行受保护的生物学任务或生成有害内容。然而,过于严格的安全机制也导致大量无害问题被误判,影响了正常用户的体验。

针对这一问题,Anthropic调整了安全分类器的工作机制,使其能够更准确地区分无害问题与高风险问题。通过优化分类阈值和上下文理解能力,新系统在保持安全性的同时,显著降低了对常规生物学查询的拦截率。测试结果显示,降级现象减少85%,表明模型在安全性与可用性之间取得了更好的平衡。

尽管如此,Anthropic强调,为了持续防范潜在的AI风险,Fable 5仍将限制专业生物学研究和药物开发相关的敏感请求。公司表示,这些限制是必要的,旨在防止技术被滥用于生物威胁领域。同时,Anthropic承诺将在未来通过透明化报告和外部审计,进一步提升安全机制的可信度。

此次更新引发了业界对AI安全治理的广泛讨论。专家认为,Anthropic的做法展示了如何在开放性与安全性之间动态调整,为其他AI开发商提供了参考。不过,也有研究者担忧,过度依赖分类器可能导致对抗性绕过风险,建议采用多层次防御策略。

展望未来,Anthropic计划继续迭代Fable 5的安全系统,并逐步扩大模型的安全应用范围。公司表示,将与生物安全领域的研究机构合作,共同制定更精细化的风险分类标准,以推动AI技术在科学发现中的正当使用。随着监管框架的完善,AI安全机制有望逐步走向标准化,从而在保障公共安全的同时释放技术潜力。

阅读原文 →来源:ithome