多数大音频语言模型（LALM）按单声道设计，通道平均会丢掉双耳级间差等空间线索；反过来，专做空间任务的模型又往往改不动、用不稳原有单声道理解能力。小米 Xiaoai Plus Dasheng Team 在论文 arXiv:2610.11156 提出 MiDashengLM-Spatial：在同一架构里统一通用音频理解与空间感知，并开源端到端权重与代码。
论文自称，这是据其所知首个开源、端到端统一「通用音频理解 + 空间感知」的音频语言模型。它在 MiDashengLM 之上接入空间编码器 Spatial-Dasheng，并用分层语义到空间条件注入模块 HSSC（hierarchical semantic-to-spatial conditioning）把语义分支的中间表示注入空间分支多层，同时保持原语义通路结构不变。
边界要先划清。本稿写的是小米空间扩展统一模型 MiDashengLM-Spatial，不是单声道版 MiDashengLM，也不是 Qwen-Audio / Qwen-Audio-3.1 那一类以单声道为主的通用音频理解产品。表中规模写作 MiDashengLM-Spatial-7B，Size 栏为 8B 量级。
动机来自听力常识：人耳同时听「是什么」和「从哪来」。传统 SELD 能检事件、估方位与轨迹，但类别封闭、输出结构化，难用自然语言描述未见事件与复杂空间关系。多数 LALM 又把多通道压成单通道，空间信息先丢一半。
Spatial-Dasheng 以 Dasheng-Base 为底，加轻量 CNN 融合多通道特征，再按 multi-ACCDOA 做帧级重叠源检测与定位，并配合置换不变训练。它要估到达方向、距离与运动，而不在预训练里绑死语义类别。
HSSC 按层次把语义编码器中间层表示，经适配器注入空间编码器对应深度。论文公式侧是单向条件：语义→空间，空间表示不回流污染语义前向通路。两支路末端再经适配器融成统一音频 token，交给后续 LLM。

图2：MiDashengLM-Spatial 总体架构——双分支音频编码器与 HSSC（hierarchical semantic-to-spatial conditioning）。图源小米论文 arXiv:2610.11156 官方 Fig.2 HTML https://arxiv.org/html/2610.11156
训练分三阶段：先在合成 SELD 上预训练 Spatial-Dasheng；再把空间编码器接到整模，用空间音文对做对齐；最后在单声道与双耳语料上微调，并侧重空间问答，以求空间能力与通用理解并存。
空间数据稀缺，因此论文搭了一条合成流水线：先用镜像源法预生成大量房间冲激响应，再把干音按随机起止与轨迹卷积成双耳场景，并附场景级空间描述与问答。事件来自环境声、语音与音乐 caption / 转写语料。

图1：MiDashengLM-Spatial 合成空间声学场景示意——俯视房间中的事件类别、位置与运动轨迹，以及对应时间轴。图源小米论文 arXiv:2610.11156 官方 Fig.1 HTML https://arxiv.org/html/2610.11156
论文自报合成规模：约 100 万音频片段、约 600 万问答对、约 1.3 万小时双耳音频；单条时长约 30–60 秒，最多约 3 个重叠源。场景级描述与确定性空间 QA 模板覆盖定位、轨迹、群体时空关系等；部分内容理解类问答再经 LLM 改写增多样本语言。
Table 1 在真实场景 SELD 上对比 Spatial-Dasheng、PSELDNets 与 Spatial-AST。论文自报 EasyCom 上 F45°/1：Spatial-Dasheng 31.6，高于 PSELDNets 26.1 与 Spatial-AST 6.9。MRSSound 上对应为 26.4，相对 15.9 / 16.5。
同一表里，STARSS23 立体声版本与 SynthBinaural-Test 上，Spatial-Dasheng 与 PSELDNets 互有高低、整体接近；作者强调即便只用双耳数据训练，也能靠耳间电平差等线索向真实立体声场景泛化。Spatial-AST 更偏 clip 级，帧级定位上多处偏弱。
Table 2 转向语言侧空间评测：MMAU-Pro 空间子集与 STAR-Bench 的 Spatial Reasoning（SR）子集。论文自报 MiDashengLM-Spatial-7B（Size 8B、双耳输入）Spatial Acc 分别为 55.4 与 70.3；同表单声道对照 MiDashengLM-7B-1021 为 18.2 与 44.3。
为检验是否真靠双耳线索，论文额外报 channel-swap ACR：左右声道对调后，答案应跟随左右关系翻转。论文自报 MiDashengLM-Spatial 在 MMAU-Pro / STAR-Bench 上为 33.1 / 72.6；多数单声道模型接近 0 或接近随机，因为通道平均对换道不敏感。

图3：MiDashengLM-Spatial Table 2 关键数字示意（论文自报）：MMAU-Pro Spatial Acc 55.4、STAR-Bench SR 70.3；channel-swap ACR 33.1 / 72.6；对照 MiDashengLM-7B-1021 为 18.2 / 44.3。图源据 arXiv:2610.11156 Table 2 整理
同表可见 Gemini、Qwen3-Omni、Audio-Flamingo-Next、BAT 等在空间子集上整体低于本稿模型；BAT 虽为双耳开源对照，但论文认为其窄域训练限制了指令跟随。全文还强调：全量 MMAU-Pro 高分不等于空间子集真 grounding，需结合 channel-swap 等探针。
通用理解方面，Table 3 把模型放到问答、ASR、音频 caption 等单声道基准。论文自报 MiDashengLM-Spatial 与同规模 SOTA 及单声道 MiDashengLM-7B-1021 总体接近，部分项目甚至略高；消融显示单向 HSSC 优于双向注入，且去掉单声道语料后多数能力仍大体保留。
合成测试上的细粒度 grounding 也写得克制：非重叠场景里事件召回、运动状态与时间顺序较好，精确轨迹匹配仍难；重叠源与空间计数类问答下降更明显。作者把现阶段优势概括为粗粒度空间属性更稳，细粒度与复杂重叠仍是短板。
开源入口写在摘要：GitHub https://github.com/xiaomi-research/midashenglm-spatial ，Hugging Face https://huggingface.co/mispeech/midashenglm-spatial 。机构署名 Xiaomi Inc.，团队 Xiaoai Plus Dasheng Team；核心贡献者包括 Jinbo Hu、Hang Su、Lichun Fan 等。
对工程侧，可记三条：空间能力不必另起炉灶重训整套单声道编码器；单向语义条件有助于保住原理解通路；评空间模型时除准确率外，建议看声道交换一致性，避免被语言先验「猜对」。
来源：小米论文 MiDashengLM-Spatial: Unifying General Audio Understanding and Spatial Awareness，arXiv:2610.11156（HTML https://arxiv.org/html/2610.11156）。文中 F 分数、Spatial Acc、channel-swap ACR、合成数据规模与模型 Size 均为论文自报。
一句话收束：把「听懂内容」和「听出方位」放进同一开源端到端模型，是这篇工作的主线，而不是用空间模块去置换原有通用音频理解。