- 发布日期
专为前沿开放模型提供无服务器及预留式服务
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Prime Intellect 已推出 Prime Inference，这是一个面向前沿开源模型的服务平台，在其分布于多个数据中心的自有 GPU 上提供无服务器端点和预留容量。在公开发布之前，该平台内部每天已经处理近一万亿个 token。这些流量来自强化学习 rollout、合成数据生成、评估以及长时间运行的 coding agent。
Prime Inference 是 Prime Intellect 开放训练栈中的服务层，并与 prime-rl、verifiers 和 sandboxes 等后训练工具相衔接。部署后的模型会生成生产环境轨迹，并将这些轨迹反馈到训练中，从而闭合整个训练闭环。该公司表示，其 GLM-5.3 端点在 OpenRouter 上位列速度最快的端点之列，工具调用错误率接近于零，并且自推出以来保持了 100% 的可用率。它通过 api.pinference.ai/api/v1 实现与 OpenAI 兼容。
两种模式满足不同需求：无服务器端点处理波动性需求，预留容量则支持持续性工作负载。该技术栈结合了 NVIDIA Dynamo、vLLM、Mooncake 和 FlashInfer，由 Inferact 和 NVIDIA 共同构建。它目前运行在 NVIDIA Blackwell 上，Vera Rubin 则被列为即将推出的平台。
GB200 NVL72 上的性能结果尤为突出。Prefill 和 decode 运行在不同的 GPU 组上，解码器通过 NIXL 拉取已经计算完成的 KV 缓存；在测试中，p90 token 间延迟降低了近 40%。在 1:4 的 prefill/decode 比例下，每个 prefill 组可以服务 66 个会话，每位用户每秒可获得 101 个 token。NVFP4 KV 压缩将每个解码器可缓存的 token 数量从 109 万提升到了 163 万。
团队还致力于提升智能体可靠性；在典型情况下，一个智能体轮次会在一个 140K-token 的提示词上增加约 6K 个 token。Prime 为 Dynamo 贡献了一个针对 GLM 工具格式的结构标签构建器，vLLM 则使用 xgrammar 屏蔽违反工具 schema 的 token。所做的修复包括解析错误，例如代码内部的某个字符被错误解码。
批量推理和一键式专用部署是路线图上的下一步。竞争对手的价格已于 2026 年 10 月 2 日通过 ComputePrices 进行了核实。
