荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

2-bit 量化 Qwen3.8-27B,7.89GB 大小

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

Underdog AI 发布 Saluki 27B 模型:2-bit 量化 Qwen3.8-27B,文件仅 7.89GB

10月10日,IT之家消息显示,人工智能实验室 Underdog AI 本月发布 Saluki 27B 模型。该模型是 Qwen3.8-27B 的 2-bit 量化调优版本,文件大小仅为 7.89 GB。发布信息称,Saluki 仅保留文字输入输出能力,并采用标准 llama.cpp 格式。

Saluki 27B 的定位并非通用全能模型,而是面向智能体应用设计。Underdog 表示,该模型长于日常推理和工具使用,数学表现则相对逊色。与原始全尺寸 Qwen3.8-27B 相比,Saluki 在体积大幅压缩的同时,仍保留特定任务能力。

在工具调用方面,Underdog 公布的信息显示,Saluki 的工具选择和多工具并行调用表现甚至优于全尺寸的 Qwen3.8-27B。这意味着该模型在智能体工作流中的工具调度环节具有针对性优化。不过,其数学能力相对不足,适用场景可能更偏向日常推理与工具协作。

Saluki 使用标准的 llama.cpp 格式。Underdog 称,该模型可在标准 llama.cpp 以及基于它构建的应用程序中加载,无需任何自定义编译。这一格式选择有助于现有 llama.cpp 生态直接尝试和集成该模型。

从发布规格看,Saluki 27B 以 7.89 GB 的文件大小提供 27B 级别模型的量化版本,并仅保留文字 I/O。对于关注本地部署和智能体应用的开发者而言,该模型提供了新的轻量化选择。其工具调用表现被强调优于全尺寸 Qwen3.8-27B,也成为主要卖点之一。

相关参考信息包括 Underdog 官网的 Underdog-27B 和 Saluki 页面,以及 Hugging Face 上的 ConwayResearch/Underdog-Saluki-27B-1.0 页面。IT之家在报道中列出了这些链接,供读者进一步查看模型信息。目前公布内容集中在模型规格、能力侧重和加载方式。

Underdog AI 此次发布表明,2-bit 量化调优正在被用于智能体专用模型。随着 llama.cpp 兼容性落地,开发者可在既有工具链中评估 Saluki 的日常推理与多工具调用表现。后续该模型在真实智能体任务中的效果,仍有待更多使用者验证。

阅读原文 →来源:ithome