- 发布日期
一套可复现的基准测试套件，全面评估设备端模型、量化、运行时与硬件性能
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Liquid AI 宣布开源发布 Pipette，这是一个全面的基准测试套件，旨在衡量基础模型在边缘设备上的性能。该平台与独立方法验证机构 Artificial Analysis 合作开发，超越了标准模型卡报告，将设备行为视为系统属性而非孤立的模型特性。Pipette 评估完整的部署配置，包括模型、量化方法、运行时和特定硬件设备。
此次发布解决了 AI 部署中的一个关键缺口。传统模型基准测试通常在理想的服务器条件下进行，往往无法预测在智能手机和其他消费级硬件上的实际性能。Pipette 为开发者提供了一种标准化、可重现的方法，以了解模型在边缘部署时的实际行为，其中延迟、隐私和连接性约束至关重要。
初始发布数据集内容丰富，涵盖超过 1000 种独特配置。其中包括超过 30 种模型，涉及五项性能指标，包含适用于 macOS、iOS、Windows 和 Android 的量化格式和 llama.cpp 构建版本。测试的上下文长度范围从 256 到 8192 个令牌。验证结果已覆盖 MacBook Pro (M5 Max)、iPhone 17 Pro 和 Galaxy S26 Ultra 等高端设备，AMD 硬件的结果即将推出。
Pipette 完全作为 Apache 2.0 基础设施开放访问。它包括管理工具和客户端工具、公共数据集、托管仪表板以及原生 iOS 和 Android 应用程序。这种开放方式使得从独立开发者到大型 OEM 的所有规模的团队都能运行基准测试。该工具适用于消费电子、汽车、医疗保健和国防等多个行业。
早期结果突出显示了部署环境如何显著影响性能。例如，在同一部手机上，两个具有 350 万参数的模型在相同量化条件下，在 4096 个令牌时显示出截然不同的吞吐量保持率：一个模型保留了 78.4% 的速度，而另一个则下降到 33.8%。此类洞察对于模型选择、硬件验证和回归测试至关重要。
与 Artificial Analysis 的合作为该方法增添了一层独立验证。虽然准确率等质量指标与服务器参考系统分开追踪，但 Pipette 的核心价值在于其对真实世界、设备上的速度和效率的关注。随着越来越多的工作负载迁移到边缘设备，该平台旨在成为 AI 行业不可或缺的工具。
展望未来，社区可以贡献结果，目前这些结果处于测试发布阶段。该工具的路线图可能包括扩大设备覆盖范围和增加更多性能指标。随着设备端 AI 成为标准，Pipette 为开发者提供了必要的框架，以做出基于数据的明智部署决策。
