- 发布日期
保留 98.7% 质量，Token 生成提速 2.42 倍
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
英伟达近日宣布开源其最新研发的TwoTower AI模型，旨在解决大型语言模型在Token生成过程中的速度瓶颈。该模型以Nemotron-Labs-TwoTower为名，采用离散扩散语言模型架构，基于预训练自回归骨干网络，在保留模型质量的同时大幅提升推理效率。相关权重已在Huggingface平台发布，授权协议为NVIDIA Nemotron Open Model License。
TwoTower模型总参数规模达到600亿，创新性地采用双塔结构，将模型分为两个独立的神经网络“塔”。其中，Context Tower专注于维护文本的自回归上下文，参数规模为300亿；Denoiser Tower负责对噪声块进行去噪，同样拥有300亿参数。每个塔激活30亿参数，配备128个可路由专家，通过逐层交叉注意力机制实现协作。
这种架构设计的核心在于将传统扩散语言模型中的上下文表示与去噪过程分离。Context Tower保持冻结状态，仅承担上下文编码任务；Denoiser Tower则经过专门训练，专门处理噪声块的去噪操作。这种分工使得模型在生成文本时能够更高效地并行处理，显著缩短生成时间。
在性能测试中，英伟达表示TwoTower模型在综合基准测试中保留了98.7%的质量表现，而实际运行时间吞吐量提升了2.42倍。这意味着模型在几乎不牺牲输出质量的前提下，实现了超过两倍的生成速度提升，为实时应用场景提供了有力支持。
该模型的发布对AI行业具有重要意义。当前大模型推理速度是制约其实际部署的关键因素之一，TwoTower的架构创新提供了一种新的思路。通过解耦上下文理解与去噪过程，模型能够在保持较高准确度的同时大幅降低延迟，有望推动聊天机器人、实时翻译等应用的发展。
业内专家指出，TwoTower模型的开源将进一步促进社区对扩散语言模型的研究。其双塔架构可能为后续模型设计提供参考，尤其是在平衡质量与效率方面。英伟达此举延续了其推动AI技术开放生态的一贯策略，有助于加速行业创新。
未来，英伟达计划继续优化TwoTower模型，并探索其在更多领域的应用。随着生成式AI需求的持续增长，这种兼顾质量与速度的模型有望成为行业标杆，为开发者提供更高效的工具。Huggingface平台上的开源版本已可供开发者下载测试，进一步验证其在实际任务中的表现。
