泰勒级数扩展注意力：固定递归状态数下的线性时间 Transformer 方法

一句话结论

通过泰勒级数截断和状态固定化，新 Transformer 方法在长序列推理中实现 76 倍加速，但精度提升受限于组合爆炸成本。

关键要点

• 将注意力核展开为截断泰勒级数后，恰好产生 n 个与上下文长度 N 无关的递归状态，每个 token 仅需一次秩一外积更新。
• 截断核的递归在 float64 下损失为 2.2×10^{-16}，跨 chunk 加法误差为 5.7×10^{-14}，支持并行扫描预填充。
• 实测 softmax 时间复杂度为 N^{2.28}，新方法为 N^{0.91}，在 N=8192 时实现 20.8 倍加速；解码延迟在 N=65536 时达 76.0 倍提升。
• 精度随项数 n 指数增长，但成本呈组合爆炸：第 m 个状态维度为 C(d+m-1, m)，SVD 证实最优点在 n=3，误差 6.5×10^{-4}，每头 9,945 元素。
• 查询和键归一化是必要前提，否则参数超出收敛半径，增加项数反而无效。

背景与事实

2026 年 10 月 2 日，arXiv cs.LG 预印本（编号 2610.20637）公布了一种名为 Expanding Attention 的新注意力机制。该方法的核心思想是将传统 Transformer 中的指数注意力核 exp(-||q-k||²) 展开为截断泰勒级数，取 n 项后对每一项进行张量幂内积分解。这种分解使得因果历史被压缩到恰好 n 个递归状态中，每个状态在每个 token 时通过一次秩一外积更新，且状态维度与上下文长度 N 完全解耦。

论文提供的实验数据表明，与标准 softmax 注意力相比，该方法的计算复杂度从 N^{2.28} 降至 N^{0.91}。在序列长度 N=728 时两者性能交叉，N=8192 时新方法快 20.8 倍。在解码阶段，由于状态数量固定，每个 token 的延迟保持常数 7.3 微秒，而 softmax 方法随 N^{1.04} 增长，导致在 N=65536 时实现 76.0 倍加速。精度方面，增加泰勒级数项数 n 可指数级提升准确性，但第 m 个状态的维度为二项式系数 C(d+m-1, m)，导致成本组合爆炸。SVD 分析证实最优项数 n=3，此时误差为 6.5×10^{-4}，每个注意力头需 9,945 个元素。

作者强调查询和键归一化是方法成立的先决条件。若缺少归一化，参数值将超出泰勒级数的收敛半径，导致增加项数不仅无益反而有害。此外，由于递归在截断核上是无损的（float64 误差 2.2×10^{-16}），且状态在 chunk 间可加（误差 5.7×10^{-14}），预填充阶段可采用并行扫描，进一步优化训练效率。

影响分析

对中文开发者而言，该方法为长上下文大模型推理提供了新的工程优化路径。固定状态数意味着 KV cache 内存占用不再随序列长度线性增长，可将原本 O(N) 的缓存压缩至 O(1)，显著降低部署成本。在需要处理超长文档、代码库或多轮对话的场景中，76 倍解码加速具有直接商业价值。但需注意，n=3 时的 6.5×10^{-4} 误差是否满足业务精度要求需实测验证；若模型对注意力精度极度敏感，可能需要权衡更高 n 值带来的组合爆炸成本。此外，查询键归一化步骤需嵌入现有推理管线，可能影响与其他量化或剪枝技术的兼容性。

适用边界

该结论仅在输入满足归一化条件、序列长度超过交叉点 728、且可接受 n=3 时 6.5×10^{-4} 的近似误差时成立。不适用于短序列场景（N<728），此时 softmax 注意力仍具优势；也不适用于对精度零容忍的任务，因泰勒截断本质是有损近似。此外，方法依赖 float64 或更高精度计算，在纯 float16 推理中误差可能显著放大，需重新验证数值稳定性。

孤本观察

编辑判断：该方法将注意力近似问题从“计算复杂度权衡”转化为“收敛半径控制”问题，归一化作为先决条件的发现可能比加速本身更具方法论价值，为后续线性注意力改进提供了新的设计约束维度。

来源：arXiv cs.LG