荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

Mistral 推出 Shieldstral,单张 16GB GPU 可运行

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

法国人工智能初创公司Mistral AI于8月4日发布了一款名为Shieldstral的内容审核模型,以其3B(30亿)参数规模和开放的权重许可,为多模态内容安全领域带来了新的技术路径。该模型已上线Hugging Face平台,支持12种语言,并可在单张16GB显存的GPU上运行,大幅降低了部署门槛。据Mistral AI介绍,Shieldstral在内容安全性能上可与7倍规模的开放模型相媲美,并在多模态内容审核任务中达到了目前业界的最优水平(SOTA)。

当前主流的内容审核防护模型通常将伤害类别体系固化在模型权重中,一旦产品切换应用场景,开发者往往需要重新训练模型以适应新的审核标准。Mistral AI指出,这种设计缺乏灵活性,难以快速响应动态变化的安全策略。Shieldstral则另辟蹊径,将审核政策直接融入输入内容,让模型能够根据用户定义的标准进行判别,从而摆脱了固定类别的束缚。

Shieldstral的核心机制是将每一项审核任务转化为二元问答。输入包含三个带标签的字段:首先是说明评估场景与严格程度的,其次是提出单个“是或否”问题,例如“这段内容是否宣传身体暴力?”,最后是提供待审核内容,范围覆盖提示词、回答、二者的组合,甚至附带可选文本的图像。这种结构化的输入方式使得模型能够精准捕捉用户意图,并生成经过校准的安全分数。

在推理阶段,Shieldstral仅读取“是”和“否”两个输出词元的逻辑值,通过softmax归一化处理,将其转换为0到1之间的连续安全分数,并以0.5作为阈值输出最终的二元判断。这一简洁高效的机制,使模型能够胜任提示词分类、回答审核、拒答检测以及毒性检测等多种内容安全任务,同时保持较低的计算开销。

Shieldstral的发布标志着内容审核模型在适应性与可操作性上迈出了重要一步。通过将外部政策动态注入输入,开发者无需修改权重即可定制审核规则,这为电商、社交平台、在线教育等众多领域提供了快速部署个性化安全方案的可能。Mistral AI将模型权重开源并遵循Apache 2.0许可证,进一步降低了企业采用先进内容安全技术的成本。

业界分析师认为,Shieldstral的技术思路有望推动内容审核领域从“静态分类”向“动态问答”范式转变。其多模态支持能力,也顺应了图像与文本混杂内容日益增多的现实需求。可以预见,随着更多开发者基于这一模型进行微调和应用,未来内容安全治理将变得更加精准和灵活。Mistral AI表示,后续会持续优化模型,并探索与更多行业场景的深度结合。

阅读原文 →来源:ithome