新研究提出查询级模态选择机制，助力 Omni-LLM 推理成本降低近四成

一句话结论

基于查询级模态选择的研究表明，在不降低准确率的前提下，可显著削减 Omni-LLM 的推理成本。

关键要点

• 在 WorldSense 基准测试中，该策略使 Qwen2.5-Omni 的推理成本降至全模态输入的 41%。
• 该策略基于查询动态选择输入模态，在保留精度的同时降低了推理延迟与费用。
• 研究提出了一种成本敏感的学习方法，可自动评估并决定为不同查询提供哪些模态。
• 测试在 Qwen2.5-Omni 和 Qwen3-Omni 两个模型上均验证了该策略的有效性。

背景与事实

本项研究于 2026 年 10 月 22 日提交至 arXiv 的计算机科学（Computer Science）机器学习（Machine Learning）领域。该论文主要针对全模态大语言模型（Omni-modal Large Language Models，简称 Omni-LLM）存在的推理成本过高问题，提出了一种名为“查询级模态选择”（Query-wise Modality Selection）的新方法。目前 Omni-LLM 能够联合处理文本、音频和视频等多种模态，从而具备强大的多模态理解与推理能力。然而，这种能够处理所有模态的特性往往伴随着高昂的推理成本。

研究发现，不同查询任务从额外模态中获得的收益差异巨大。这意味着为所有查询默认提供全模态输入的配置是低效的。基于此观察，该研究将底层 Omni-LLM 架构固定，但允许针对每个查询自适应地选择要提供的模态。团队将此问题定义为准确率-成本优化问题，并开发了一种成本敏感的学习方法来执行模态选择。研究在 WorldSense 数据集上，使用 Qwen2.5-Omni 和 Qwen3-Omni 两个模型进行了全面评估，并设定了三个推理成本衡量指标：输入 token 数、延迟和货币成本。

实验结果表明，查询级模态选择 consistently 改善了准确率与成本之间的权衡，在某些情况下甚至优于提供所有可用模态的标准设置。具体到 Qwen2.5-Omni 模型，使用成本敏感的方法，其准确率能够匹配或超过全模态的准确率，同时输入 token 数量仅为全模态的约 41%，延迟降低至 39%，货币成本则降至 61%。这一结果证明了根据查询特征动态裁剪输入模态在工程实践中的可行性与显著优势。

影响分析

对于中文开发者与大模型应用从业者而言，这项技术提供了一个极具实际价值的工程思路。当前，企业在部署全模态大模型时，往往面临算力成本和响应延迟的严峻挑战。传统的“一刀切”式全模态输入不仅消耗大量算力，还可能引入非必要的计算噪声。本研究的结论意味着，开发者不需要修改底座大模型，仅通过在输入端增加一层模态选择网关，即可大幅提升系统的性价比。

对于需要处理复杂多模态业务（如带音频的客服交互、视频内容理解）的开发者，该策略允许系统根据用户查询的复杂度与类型，自动过滤无关模态。这不仅能降低 API 调用成本，还能显著缩短处理延迟，提升用户体验。同时，这为后续的端侧部署与轻量化应用铺平了道路，使得在算力有限的边缘设备上运行高性能全模态模型成为可能。

适用边界

此结论主要适用于能够灵活输入多种模态（如文本、音频、视频）的 Omni-LLM，且查询内容存在显著模态依赖差异的场景。对于本身对特定模态具有强依赖性（例如必须实时分析视频帧的安防监控任务），且不允许牺牲精度的系统，裁剪模态可能导致性能严重下降。此外，由于该方法需要在推理前通过成本敏感学习模型进行预测判断，会增加极少量的前置计算开销，对于对计算开销极其敏感的超实时场景，需要重新评估其综合收益。

孤本观察

该研究巧妙地将大模型的重心从“模型侧压缩”转移到了“输入侧筛选”，这种在推理管线前端进行精细化模态管理的视角，为下一代高性价比多模态架构提供了关键的设计蓝图。

来源：arXiv cs.LG