aifollow.news 搜索
返回 IT之家 科技新闻
IT之家 科技新闻· · 原发布时间

小米开放 MiDashengLM-Spatial 权重与推理代码,新增空间音频理解能力

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 辅助摘要

小米发布 MiDashengLM-Spatial,公开模型权重和推理代码,并采用 Apache 2.0 许可证。该模型基于 MiDashengLM-7B,除识别声音内容外,还可判断声音来源和空间分布;小米表示,未来将陆续用于智能家居和汽车座舱。

正文 · 原文

IT之家 10 月 16 日消息,小米昨日宣布,带来 Dasheng 系列的重要新成员 ——MiDashengLM-Spatial,完整公开模型权重和推理代码,并以 Apache 2.0 许可证发布。

过去两年,小米先后发布并开源了声音基座模型 Xiaomi Dasheng 及声音理解大模型 MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过 30 项落地应用,能够对语音、环境声音和音乐进行统一感知与理解。

据介绍,新模型以 MiDashengLM-7B 为基座,进一步为声音理解大模型赋予“一双耳朵”,使其不仅能够听懂声音的内容,还能感知声音来自何处、如何在空间中分布。

小米表示,MiDashengLM-Spatial 是业界首个开源的端到端空间音频理解大模型,在保留基础音频理解能力的同时,具备空间感知与推理能力,推动音频大模型从“听懂声音”进一步迈向“理解声音所处的空间”。

该模型将陆续应用于小米智能家居、汽车座舱等场景,以空间听觉能力进一步提升“人车家全生态”的交互体验。相关测试数据如下:

IT之家附相关链接:

项目主页:https://jinbo-hu.github.io/midashenglm-spatial-demo/

技术报告:https://arxiv.org/abs/2610.11156

评估代码(GitHub): https://github.com/xiaomi-research/midashenglm-spatial

模型结构与权重(HuggingFace):https://huggingface.co/mispeech/midashenglm-spatial

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

发现内容有误?提交纠错