- 发布日期
面向CUDA内核生成的大规模智能体强化学习系统
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
字节跳动Seed和清华大学AIR发布了CUDA Agent，这是一个新的智能体强化学习系统，训练大型语言模型生成优于torch.compile的GPU内核。该系统直接解决了长期以来存在的差距：前沿AI模型能生成正确的CUDA代码，但运行速度仍慢于编译器优化版本。这一发布可能重塑开发者编写高性能内核的方式。
这个问题众所周知：在KernelBench基准测试中，基础模型Seed1.6通过了74.0%的任务，但仅27.2%的情况下优于torch.compile，几何平均加速比为0.69倍。这意味着其生成的内核平均速度慢于编译器自动生成的结果。CUDA Agent通过将模型嵌入一个包含性能分析、正确性检查和权限锁定沙箱的真实开发环境，并使用PPO进行150步、上下文长度为131,072个token的训练，从而弥补了这一差距。
结果令人瞩目。在250个任务的基准测试中，CUDA Agent实现了98.8%的通过率，并且有96.8%的任务快于torch.compile，相比编译版本几何平均加速2.11倍。在最难的Level-3子集（衡量复杂算子序列）上，其性能比Claude Opus 4.5和Gemini 3 Pro高出约40个百分点。
技术上，智能体循环模拟了OpenHands的工具集——Bash、Read/Write、Edit、Glob、Grep等——并采用ReAct模式。CUDA指令通过SKILL.md以Agent Skills格式提供，指导模型对PyTorch模型进行性能分析，使用自定义内核重写model_new.py，在GPU沙箱中编译，并迭代直到内核至少比torch.compile快5%。奖励是离散的，而非原始加速比：r ∈ {−1, 1, 2, 3}，其中3表示同时超过eager模式和torch.compile达5%以上。
为了防止奖励黑客行为，团队部署了五项对策，包括权限锁定的验证和性能分析脚本、禁止torch.nn.functional回退的上下文管理器、对五个随机输入进行检查。
