- 发布日期
视觉语言模型推测解码速度最高提升 3.13 倍
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Liquid AI 发布了 LFM2.5-VL-3B-DSpark。这是一款实验性的推测解码草稿模型，旨在加速其拥有 30 亿参数的 LFM2.5-VL-3B 视觉—语言模型。这款配套草稿模型新增约 2.8 亿参数。根据 Liquid AI 的说法，在 Apple 芯片上，它可将解码速度最高提升至原来的 3.13 倍；在 NVIDIA H100 上，最高可提升至 2.66 倍。该系统并不会改变目标模型给出的答案，而是先提出一系列词元，再由规模更大的模型对这些词元进行验证。这一发布对于设备端和数据中心推理都具有重要意义，因为在这些场景中，响应延迟可能直接决定多模态 AI 是否具备实际可用性。
在标准的自回归生成过程中，模型每次前向传播只能生成一个词元。DSpark 增加了一个规模更小、仅包含注意力层的模型；该模型从目标模型的多个图层读取隐藏状态，并预测接下来的一个词元块。随后，目标模型在一次处理过程中检查这些建议词元，并保留其中接受的词元。Liquid AI 表示，其草稿模型与模态无关，因为当图像图块和文本到达这些隐藏层时，它们都已经被表示为张量。因此，该公司可以将此前为文本模型 DSpark 系统开发的方法重新用于视觉—语言模型。
消融实验最终选定了四个草稿模型图层，并将块大小设为 9；Liquid AI 则建议在推理时根据硬件情况使用 8 或 9 的块大小。Apple 芯片配置采用 8。该草稿模型与目标模型共享嵌入层和语言模型输出头，而不是自带一套，因此部署规模的增幅被限制在 8.9%。它使用监督微调数据进行了 10 个训练周期的训练，训练数据涵盖常见的视觉—语言任务；所有消融实验和训练均仅在 AMD 硬件上运行。
Liquid AI 在 MMSpec 基准测试上对该系统进行了评估，测试任务包括通用视觉问答、文本视觉问答、图像描述、图表视觉问答、复杂推理和多轮对话。测试采用批量大小 1、温度 0，并为视觉编码器和主干模型使用 16 位权重；相关数据通过 Liquid AI 的 Pipette 设备基准测试基础设施收集。在 M5 Max 上，报告中的 3.13 倍解码速度结果来自 COCO 图像描述任务，而 MMMU-Pro 任务则实现了 2.62 倍的端到端性能提升。在运行 SGLang 的单张 H100 上，DSpark 在所有测试并发级别下都保持了吞吐量优势，不过随着并发量提高，其优势有所缩小。
这些显著的性能提升并不会完全转化为应用层面的速度收益，因为推测解码只能加速词元生成。图像编码和预填充阶段保持不变，而视觉—语言模型必须先处理图像，之后才能将长序列的视觉词元与用户提示词一并处理。在边缘设备上，这部分固定成本在总延迟中所占的比例高于数据中心 GPU；Liquid AI 使用阿姆达尔定律来描述这一限制。例如，在 M5 Max 上，TextVQA 的解码速度提高了 2.69 倍，但端到端性能仅提高了 1.56 倍。
在贪心解码下，输出质量能够保持不变，因为目标模型会验证每一个建议词元，因此生成结果与基础模型相同。根据所引用的 Leviathan 等人的研究，在温度不为零且采样设置匹配的情况下，该方法仍可保持目标模型的输出分布。不过，更高的温度仍可能降低速度，因为概率会分散到更多候选词元上，从而降低草稿词元的接受率。两种 Apple 硬件配置呈现出相近的词元接受率，因此 Liquid AI 得出结论：这种方法的效果更多取决于草稿模型和工作负载，而不是运行时环境。
模型权重已以 Safetensors 和 GGUF 格式在 Hugging Face 上提供，并且 SGLang、MLX-VLM 和 llama.cpp 均从发布首日起提供支持。SGLang v0.5.19 或更高版本可以使用 DSPARK 推测算法，并通过指定的草稿模型路径调用目标模型；MLX-VLM v0.7.2 或更高版本则支持在 Apple 芯片上运行该草稿模型。此次发布的版本仍属实验性质，并采用 LFM Open License v1.0 许可证；该许可证允许年收入低于 1000 万美元的公司免费将其用于商业用途。
