荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

支持85余种语言、平均字错率仅2.6%的语音转文字模型

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

谷歌近日发布了Gemini 3.5 Transcribe,这是一套全新的语音转文字模型套件,专为实时语音界面和已处理音频文件设计。此次发布推出了两个不同的API端点:gemini-3.5-transcribe用于通过Interactions API处理预录音频,gemini-3.5-transcribe-live则用于通过Live API进行实时双向流传输。这一举措标志着功能上的战略性划分,每个端点提供不同的功能集、性能限制和定价结构。

模型在准确性和速度方面均有显著提升。Artificial Analysis的独立测量显示,非流式处理的平均字错误率为2.6%,实时流传输为4.0%。性能较谷歌之前的Chirp 3模型有显著改进,最终转录时间缩短了70%。自动语言检测现已覆盖超过85种语言和地区,包括无需配置即可处理句子中途的语码转换。

Live API针对亚秒级延迟进行优化,适用于语音代理和实时字幕。它接受100毫秒片段的原始16kHz音频,并支持推测性部分转录等功能。然而,连续流传输的硬性限制为10分钟,且不支持说话人分离或单词级时间戳。对于这些高级功能,用户必须使用Interactions API处理预录文件。

一个关键的设计决策是两个端点均提供两种处理模式。默认的“逐字”模式会转录所有内容,包括填充词和错误开头。相比之下,“智能”模式会清理文本,移除不流畅之处并内联修正自我指涉。一个关键的权衡是,智能模式无法与分离或单词时间戳结合使用,这实际上将人类可读的摘要与详细的审计跟踪分离开来。

部署仅通过API进行,没有开放权重供自托管,将其定位为托管服务。谷歌通过分层结构提供访问权限。独立开发者可以通过Google AI Studio免费开始使用,而中型团队可以使用付费层以获得更高限制和内容隐私。受监管的企业可以通过Gemini Enterprise Agent Platform获得合规控制和批量折扣。开发者版和企业版目前均处于公开预览阶段。

此次发布针对广泛的行业和应用,从联络中心和临床文档到媒体字幕和会议工具。Live API已集成到包括LiveKit、Pipecat和Vercel在内的生态系统中。随着转录成为语音驱动界面的基础工具,谷歌的细分方法为开发者提供了一套清晰但受限的工具集,用于构建下一代音频驱动应用程序。

阅读原文 →来源:marktechpost