- 发布日期
30B 本地智能体模型，专为设备端执行优化
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Meta AI 研究团队推出了 Muse Glimmer，这是一个拥有 300 亿参数的开源权重模型，专为本地智能体执行而设计。该模型以 Apache 2.0 许可证发布，使开发者能够直接在消费级 GPU 上运行自主智能体、工具调用、编码和 LLM 作为评判者的任务，无需使用云 API。
该模型解决了此前阻碍大型模型在个人硬件上运行的显存限制问题。标准 300 亿参数模型需要超过 55GB 的显存，而 Muse Glimmer 采用 4 位动态量化，将其占用空间缩减至约 17-20GB，从而在 24-32GB 的 GPU/NPU 内存范围内为 KV 缓存和投机解码留出空间。
Muse Glimmer 是通过从 Meta 更大的 Muse Spark 模型进行多阶段蒸馏训练而来。这包括在预训练阶段的 logit 蒸馏，在包含复杂推理和工具调用轨迹的长上下文序列上进行中期训练，以及在后期训练中结合监督微调、同策略蒸馏和强化学习的对齐。一个专门的 18 亿参数感知编码器处理交错的文本和图像输入，使智能体能够理解截图和图表。
性能提升来自 DFlash 投机解码，该技术使用轻量级草稿模型并行验证多 token 块。在 Apple Silicon M4/M5 Max 和 NVIDIA RTX 5090 硬件上，这可将生成吞吐量提高至多 3.1 倍。该模型还能从故障中恢复：如果 API 调用或终端命令出错，它会诊断并尝试替代方案。
在 SWE-Bench、τ-Bench 和 MCP-Atlas 等基准测试中，Muse Glimmer 在多步工具可靠性和故障恢复方面优于 Gemma 4 31B 和 Qwen 3.6 27B 等同类模型，同时在编码和推理方面保持竞争力。
模型权重已在 Hugging Face 上提供，并原生支持 llama.cpp、ExecuTorch、Apple MLX、Ollama、LM Studio 和 vLLM。通过 PyTorch 的 TorchTitan 支持微调。
Muse Glimmer 标志着向完全在设备端运行的实用、私密、低延迟 AI 智能体的转变。
