荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

Inkling-Small 登场,约 1/4 规模提供相近 AI 性能

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

美国人工智能初创公司Thinking Machines Lab于7月30日发布新款开源模型Inkling-Small,其性能与旗舰模型Inkling相当,但规模仅为后者的约四分之一。这一发布标志着高效能AI模型在保持强大能力的同时,正向着更小参数规模和更低计算成本的方向发展。

此前,Inkling凭借9750亿总参数和410亿激活参数,以及100万token的超长上下文窗口,被称为“美国最强开源AI模型”。该模型采用混合专家(MoE)架构,在多项基准测试中表现卓越。而Inkling-Small同样基于MoE架构,总参数为2760亿,激活参数为120亿,训练平台为NVIDIA GB300 NVL72系统。

Inkling-Small在功能上与Inkling保持一致,支持音频和图像原生推理、可变的思考强度以及最高100万token的上下文窗口。Thinking Machines Lab已开放Inkling-Small的完整权重,并将其集成至Tinker微调服务中,用户可在Tinker Playground体验文本、图像和音频聊天功能。

根据官方公布的测试数据,Inkling-Small在智能体工具使用、推理和指令遵循等任务中的效率高于Inkling,同时可与同等权重级别的其他模型竞争。在推理和智能体任务上,Inkling-Small匹配或超过了Inkling的表现。

尤其引人注目的是,在Humanity's Last Exam测试中,Inkling-Small得分31.6%,高于Inkling的29.7%。Thinking Machines表示,在每个思考预算下,Inkling-Small的测试时计算曲线均高于Inkling,这意味着它能在更少的计算资源下实现更强的推理性能。

行业分析人士认为,Inkling-Small的出现展示了模型压缩和高效训练技术的进步。以约四分之一的参数量获得接近甚至部分超越旗舰模型的性能,这一成果可能推动更多研发团队关注参数效率,并降低开源模型的应用门槛。未来,Thinking Machines Lab是否会推出更小规模的衍生模型,以及Inkling系列在商业场景中的落地表现,值得持续关注。

阅读原文 →来源:ithome