荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

小米开源空间音频理解大模型 MiDashengLM-Spatial

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

10月16日,IT之家消息称,小米昨日宣布推出Dasheng系列重要新成员MiDashengLM-Spatial,并完整公开模型权重和推理代码,以Apache 2.0许可证发布。该模型被定位为面向空间音频理解的大模型,目标是在声音内容理解之外,进一步感知声音来源与空间分布。此次发布同时公布了项目主页、技术报告、评估代码及模型权重等资源。

过去两年,小米先后发布并开源声音基座模型Xiaomi Dasheng及声音理解大模型MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过30项落地应用。这些能力能够对语音、环境声音和音乐进行统一感知与理解,为后续空间音频理解模型奠定基础。

据介绍,新模型以MiDashengLM-7B为基座,进一步为声音理解大模型赋予“一双耳朵”。它不仅能够听懂声音的内容,还能感知声音来自何处、如何在空间中分布。小米希望借此推动音频大模型从单纯的内容识别走向空间感知与推理。

小米表示,MiDashengLM-Spatial是业界首个开源的端到端空间音频理解大模型。该模型在保留基础音频理解能力的同时,具备空间感知与推理能力。这一变化意味着音频大模型从“听懂声音”进一步迈向“理解声音所处的空间”。

在应用层面,MiDashengLM-Spatial将陆续应用于小米智能家居、汽车座舱等场景。小米称,将以空间听觉能力进一步提升“人车家全生态”的交互体验。相关测试数据也随该模型发布一并提及。

公开资源方面,该项目主页、技术报告、评估代码和模型权重均已提供。技术报告编号为arXiv:2610.11156,评估代码位于GitHub的xiaomi-research/midashenglm-spatial,模型结构与权重发布在HuggingFace的mispeech/midashenglm-spatial。项目主页为jinbo-hu.github.io/midashenglm-spatial-demo。

从开源策略看,MiDashengLM-Spatial以Apache 2.0许可证发布,并完整公开权重和推理代码。这使其成为Dasheng系列在空间音频方向上的新进展。按照小米计划,该模型将陆续进入智能家居和汽车座舱等场景,空间音频理解能力也将在“人车家全生态”中接受应用检验。

阅读原文 →来源:ithome