arXiv 新论文提出基于 Jacobian Lens 的深度剪枝加权方法，在 Qwen3-8B 等模型上提升剪枝后准确率最高达 19 个百分点

一句话结论

新研究提出 J-BI 剪枝评分方法，通过 Jacobian Lens 修正局部冗余判断，使 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 剪枝后准确率较原 BI 方法最高提升 19 分。

关键要点

• 该方法名为 J-BI，是将对 Block Influence（BI）评分施加 Jacobian Lens（J-Lens）传输变换后得到的剪枝分数。
• 在相同稀疏率（sparsity level）下，J-BI 使三个基准模型剪枝后的准确率相比纯 BI 方法最多提升 19 个百分点。
• 实验同时表明 J-BI 降低了对困惑度（perplexity）的损害，验证对象为 Qwen3-8B、Llama-3.1-8B-IT 与 Gemma-3-12B-IT。
• 研究包含单块消融实验（single-block ablation study），并利用 J-Lens 探测（probing）解释了评分改进的性能增益来源。
• 该方法解决的核心问题为：局部隐藏状态旋转幅度小（局部冗余）并不等同于下游不可重要，传统 BI 准则存在此盲区。

背景与事实

深度剪枝（depth pruning）直接移除整个 Transformer 块（transformer blocks），其效果取决于能否可靠地识别哪些块可以被安全移除。现有主流准则 Block Influence（BI）依据各块对隐藏状态（hidden state）旋转幅度的最小程度对块进行排序，旋转越小意味着该块局部冗余度越高，越倾向于被剪掉。然而 BI 存在一个已知局限：局部冗余并不必然意味着该块在下游任务中不相关，即某个块在局部虽然几乎不改变隐藏状态，但可能在后续层级或最终输出中仍承担关键功能。这项由 arXiv cs.LG 于 2026 年 9 月 30 日提交的论文（arXiv 编号 2611.00015）针对该局限提出了改进方案。

论文引入 Jacobian Lens（J-Lens）神经制品（neural artifact）作为修正工具。J-Lens 是一个映射（map），其功能是将某一层（layer）处的扰动（perturbation）传输到最终残差流（final residual stream），从而衡量局部变化对模型最终输出的实际影响。基于此，研究者将 J-Lens 的传输操作施加到 BI 评分上，得到新的剪枝分数，记为 J-BI。这意味着 J-BI 不再仅看单个块对相邻隐藏状态的局部旋转，而是追踪该块扰动经由残差流传播到最终输出的权重，再据此决定剪枝顺序。

实验在 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 三个开源大语言模型上展开。在相同的稀疏率设置下，采用 J-BI 分数进行剪枝后，模型在下游准确率指标上相比使用传统 BI 分数最多提升了 19 个百分点。同时，J-BI 在困惑度（perplexity）指标上的退化幅度也小于 BI，说明该方法在保持语言建模质量方面更为稳健。此外，论文还进行了单块消融研究，即逐一移除单个 Transformer 块并观察性能变化，并结合 J-Lens 探测技术解释为何 J-BI 能产生上述性能增益：J-Lens 能够识别出那些局部看似冗余但对最终输出仍有显著贡献的块，从而避免错误剪枝。

影响分析

对于中文开发者与大模型推理优化从业者而言，这项研究提供了深度剪枝路径上的实用工具。当前大规模语言模型部署中，深度剪枝是降低推理显存占用和计算量的重要手段，而剪枝准则的选择直接决定最终模型质量。J-BI 方法可在不改变模型架构的前提下，通过更准确的块重要性评估减少因错误剪枝造成的性能损失，尤其适用于对延迟和吞吐量有严格要求的边缘端或移动端部署场景。需要指出的是，这是一项分析判断：19 个百分点的最大提升出现在特定基准模型和特定稀疏率组合下，实际工程中不同任务、不同稀疏率下的收益可能低于该峰值，开发者应在自有业务数据上验证后再决定是否采用。

适用边界

该结论的成立依赖于几个前提条件：首先，模型必须具有清晰的残差流结构，J-Lens 的传输映射假设扰动沿残差流线性或近线性传播，对于非标准残差连接或门控机制较复杂的模型架构，J-Lens 的有效性未经验证；其次，实验仅在 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 三个模型上验证，未覆盖更大参数规模或不同 tokenizer 的模型，结论不可直接外推；最后，"相同稀疏率下提升 19 个百分点"是针对特定下游评测任务的表述，若下游任务分布与评测集差异较大，实际收益可能显著低于该数值，该结论不适用于对困惑度不敏感但对特定任务高度敏感的非自然语言处理场景。

孤本观察

本文编辑判断：J-Lens 从"局部旋转"转向"最终残差流影响"的视角转换，与近年来 LLM 可解释性研究中"探针"（probing）方法强调输出端敏感度的趋势一致，但将其直接用于剪枝准则尚属少数，该方法的价值在于为深度剪枝提供了从"结构局部性"到"功能全局性"的评估桥梁，未来若 J-Lens 计算开销可被工程优化至接近 BI 的线性复杂度，其落地前景将显著优于当前需要逐层扰动追踪的方案。

来源：arXiv cs.LG