原生视听全双工大语言模型，一个模型即可看、听、说

字节跳动的 Seed 团队发布了 SeedRealtime，一个原生的音视频全双工大语言模型。该模型在一个端到端架构中融合了音频、视频和文本。它通过连续的多模态流进行实时交互，超越了逐轮对话。

传统系统使用级联的 ASR、VLM 和 TTS 模块，增加了延迟并在各阶段之间丢失信息。SeedRealtime 则在单个模型内并行运行感知、理解和表达。语音轮次转换也在内部进行，消除了外部语音活动检测器。

该模型已在字节跳动的豆包应用中上线。然而，目前尚未发布技术报告、参数数量、开放权重或 API。第三方团队目前无法集成。

字节跳动的七个演示突出了四个关键能力。该模型跨模态绑定身份，在晚宴上将面孔与声音匹配。当持有的指令被触发时，它会主动发言，例如发现博物馆文物或论文章节。它还会根据视觉状态纠正动作，当咖啡豆研磨错误时打断浓缩咖啡流程。它还能抑制干扰并利用屏幕外记忆，回答关于已滚动的航班信息板的问题。

这些能力为实时语音加摄像头产品树立了新的标杆。依赖级联管道的竞争对手需要重新考虑其方法。然而，缺乏基准和延迟数据也让人谨慎。字节跳动声称人工评估显示节奏问题减半，但未提供定量数据。

AI 社区认为这是向全模态交互迈出的重要一步，但缺乏可获取的资源限制了实际应用。可部署的部分是经过验证的概念，而非即用型模型。开发者必须等待 API 或开源发布。

展望未来，SeedRealtime 指向了一个 AI 自然地观看、倾听和插话的未来。架构转变是清晰的，尽管细节仍然稀缺。