荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

真人感拉满,支持苹果 MacBook 本地运行

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

10 月 25 日,Twitter 联合创始人杰克·多尔西旗下的 Block 公司发布全新语音模型 Dessa。该模型支持在消费级电脑本地运行,能模拟笑声、停顿、哽咽等情绪表达,听感高度拟人。官方介绍称,Dessa 完全基于人类语音数据训练,整个训练过程仅使用了一组英伟达 GPU 机架。

Block 的主营业务是金融服务,长期面向小微企业提供解决方案,旗下支付平台 Square 已经在用语音 AI 处理下单业务。此次自研可在端侧运行的语音模型,被视为其以更低成本落地商户与普通用户语音产品的重要一步。

从技术形态看,Dessa 属于全双工模型,可以一边说话一边收听用户语音,与 OpenAI 今年早些时候发布的 GPT-Live 相同。主流语音模型一般需要搭配大语言模型来调取知识,而 Block 称,Dessa 自身的知识来源于其训练所用的对话数据。

Block 在博客中直言,现有语音 AI 的交互体验「实在糟糕」。根源在于生成链路必须先把语音转成文字,再由文本驱动语音合成,大量文字承载不了的信息就此丢失。ElevenLabs v4、Fish Audio Drama 3 等不少模型依靠语音标签控制情绪,而 Block 宣称 Dessa 的情绪表达是原生内置的,不过其底层是否仍依赖某种标签调控,目前尚不清楚。

研究团队放出了多段与 Dessa 的对话样例,展示该智能体切换音色、语速与情绪的能力。在其中一段对话里,AI 说自己工作很累,发声状态也同步带上了疲惫感;另一段中,AI 聊到对方带给自己的安心感受,语气近乎哽咽。还有一段演示是 Block 员工与这个语音助手一起玩游戏。

官方说明,Dessa 的设备门槛为 M4 Max 及更高配置的 MacBook。但现阶段该模型暂不对外开放试用,Block 正向安全研究者发出测试邀请,重点测试这类语音智能体欺骗人类的风险场景。

在业内看来,端侧可运行意味着更低的调用成本与更强的隐私属性,这与 Block 的商户业务天然契合。若 Dessa 后续通过安全评估并开放能力,Square 等场景有望率先受益,语音下单、客服应答等交互形态也可能随之改变。

阅读原文 →来源:ithome