**标题：宽专家混合模型 MoWE 实现输出坐标系可解释性突破，无需后处理即具备因果定位能力**

一句话结论

新提出的宽专家混合模型 MoWE 通过原生输出坐标实现特征稀疏化，在保持预测性能的同时显著提升模型内部因果定位的可解释性与复用能力。

关键要点

• 架构创新：MoWE 是一种稀疏前馈层，选中的专家读取完整表征但写入固定、互不重叠的输出坐标，使模型直接学习可解释的输出口径。
• 性能基准：在约 100 亿 token 的 19 层训练下，MoWE 的评估交叉熵为 2.417，优于稠密模型的 2.452，但略高于标准 MoE 的 2.22。
• 可解释性评分：MoWE 的原生坐标特异性得分 0.523，高于稠密模型的 0.375 和标准 MoE 的 0.268，且接近稠密模型上训练的 SAE 得分 0.489。
• 因果路径验证：通过定位四个坐标构成的因果路径，成功将矩形提示下的预测从“边”转向“角度”，证明坐标可被直接复用。
• 安全控制实验：一组固定坐标可检测危险请求，另一组可将下一 token 预测引导至拒绝，展示坐标在安全场景中的实际操控性。

背景与事实

该研究源自 2026 年 8 月 26 日提交于 arXiv cs.LG 类别的论文，旨在解决语言模型中概念分散在大量内部维度导致特征难以解释的核心痛点。传统方法通常依赖稀疏自编码器在训练后恢复清晰特征，而本文探索模型能否直接学习可解释的输出坐标。研究团队提出的 MoWE 架构通过让选中的专家读取完整表征但写入固定、互不重叠的输出坐标，实现了稀疏条件计算与可解释坐标的结合。

在实验设置上，研究团队在约 100 亿 token 的相同计算规模下，对每种架构进行了 19 层的两组训练。MoWE 在评估交叉熵上表现优于稠密模型，但略逊于标准 MoE，说明其以微小的性能代价换取了显著的可解释性提升。为了量化原生坐标的可读性，团队要求语言模型裁判从强烈激活坐标的段落中提取描述，并在新段落中验证该描述，通过校正其他坐标的干扰后计算特异性得分。

在案例研究中，团队在“直角是 90”的提示后，识别出一条由四个坐标构成的因果路径，支持模型对“角度”的预测。通过将该路径中七个与角度相关的坐标值复制到处理“矩形有四个”的模型中，成功将下一 token 预测从“边”改变为“角度”。另一组实验中，一组固定坐标用于检测危险请求，另一组则将预测引导至拒绝，证明这些坐标可被直接识别和复用，无需依赖外部后处理工具。

影响分析

对中文开发者而言，这一架构创新意味着可解释性研究不再完全依赖训练后的稀疏自编码器。如果该架构在更大规模模型中保持稳定，开发者可直接在预训练阶段获得可定位、可操控的特征坐标，大幅降低模型审计、安全过滤和因果干预的技术门槛。具体影响包括：1. 降低可解释性工具链的复杂度，减少对 SAE 等后处理方法的依赖；2. 为模型安全提供原生机制，危险请求检测和拒绝引导可内置于坐标层而非外部过滤器；3. 因果路径的直接可复制性为模型行为调试和特征迁移提供了新范式，但需注意该结论基于 19 层小模型在 100 亿 token 下的受控任务，向生产级模型的迁移性仍需验证。

适用边界

该结论仅在训练计算量约 100 亿 token、19 层架构、且任务具有已知隐藏因果结构的受控场景下成立。对于无明确因果结构的开放域任务、更大规模（如 70B 以上参数）或更长训练周期的模型，MoWE 的性能与可解释性优势是否保持仍未知；标准 MoE 在交叉熵上仍占优，故对纯性能敏感且无需可解释性的场景不适用。

孤本观察

MoWE 用 0.523 的特异性得分与密集模型 SAE 的 0.489 接近，说明原生坐标设计在可解释性上已接近后处理方法的水平，但标准 MoE 2.22 的交叉熵与 MoWE 2.417 的差距表明，可解释性与纯粹预测性能之间存在权衡，架构创新的价值在于将权衡点从"必须用 SAE 换取可解释性"推向"以微小性能代价原生获得可解释性"。

来源：arXiv cs.LG