- 发布日期
PyTorch原生的智能体强化学习框架
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
NVIDIA 的 NeMo 团队发布了 Molt，这是一个 PyTorch 原生的智能体强化学习框架，旨在大幅降低研究人员的工作负担。该框架力求足够紧凑，使研究人员能够完全掌握，并让 AI 编码助手能够整体理解。其代码库约有 8.6K 行强化学习代码，而 verl 约为 62K 行，slime 约为 25K 行，在这一指标上比 verl 小约七倍。
该框架基于 Apache 2.0 许可发布，包含启动代码、Slurm 脚本和预构建容器。然而，它被定位为研究基础设施而非生产训练服务，并设有实际的硬件门槛：随附的示例假设使用两个节点，每个节点配备八块 H100 GPU，在训练和 rollout 之间平均分配。这使得 Molt 适用于前沿实验室、资金充足的 AI 初创公司（从事后训练）、金融、医疗保健和机器人领域的企业研究团队，以及拥有多节点 H100 或 H200 访问权限的学术实验室。
Molt 将 Ray 用于资源调度和异步队列，vLLM 用于 rollout，NVIDIA AutoModel 与 FSDP2 用于训练。这三者均未被分叉，因此上游改进以容器固定版本而非重新基线的方式引入。运行时包括一个智能体池、一组位于请求路由器后面的 vLLM 引擎，以及一个可训练的策略执行器。流式池保持提示组在飞行中，确保引擎在训练时不会耗尽。
一次强化学习运行指定一个导出 AgentRunner 的 Python 模块，其他所有内容（包括奖励）均为普通代码。该框架支持两种智能体形式：Env，其中框架在符合 Gymnasium 的 step() 中拥有 LLM 循环；ChatAgent，用户通过标准的 OpenAI 或 Anthropic SDK 拥有循环。Molt 启动一个回环服务器，支持两种线协议，每个请求在服务器端解码为逐 token 精确的累积。
该设计围绕三个正确性不变量组织：token 身份、策略版本语义，以及前向（...）
