一句话结论
最新研究通过引入规模不变 $\gamma(\Delta\theta)$ 度量指标，证实 Adam 在病态线性回归与小规模非凸神经网络中的几何偏差分别显著增大，但这一偏差并未导致最终目标函数值劣化。
关键要点
- 研究于 2026 年 5 月 30 日提交至 arXiv，从几何视角将包含动量的 Adam 完整更新规则重新定义为由对角截断、经验标签替换和时间滞后共同作用下的对角经验 Fisher 矩阵近似。
- 实验构建了包含良好条件线性回归、病态条件线性回归、逻辑回归以及非凸小型神经网络在内的四种损失面，以量化 Adam 轨迹与真实 NGD 之间的几何偏离程度。
- 测量结果显示，Adam 的几何偏离度随损失面性质呈高度上下文依赖性，良好条件设置下偏差维持在较低水平，但在非凸神经网络模型中，偏差最高可达到 $10^3$ 级别。
- 更高的几何漂移在动力学上通常表现为初始阶段优化速度的放缓，但这种几何偏离与最终目标函数值之间存在解耦，优化器依然能稳定收敛至极低损失区间。
- 在矩阵近似的稳健性对比中，改进型经验 Fisher 矩阵（iEF）生成的参数更新路径显著优于标准经验 Fisher 矩阵（EF），后者在优化过程中容易陷入数值震荡或直接发散。
背景与事实
长期以来，深度学习社区广泛使用 Adam 优化器进行神经网络参数更新，但其理论几何路径与经典自然梯度下降法（Natural Gradient Descent, NGD）之间存在哪些具体的数学关系，一直缺乏量化的实证研究。为了填补这一空白，提交于 2026 年 5 月 30 日的最新计算机科学预印本《How Far is Adam from Natural Gradient Descent?》（Adam 距离自然梯度下降有多远？）针对这一问题展开了系统性的实证分析。
研究团队在方法学上取得了一项关键突破，即摒弃了将 Adam 视为常规梯度算法的惯性认知，而是将其包含动量机制的完整更新规则，在几何测度空间中建模为对角经验 Fisher（Diagonal Empirical Fisher）的一种特定近似形式。该近似过程并非理想化的数学映射，其受限于三个具体的技术因素：一是仅保留对角线元素的截断操作（Diagonal truncation），二是使用当前批次的实际标签替代理论期望的经验标签替换（Empirical label substitution），三是处理数据时产生的时间延迟效应（Temporal lag）。
为了严谨地评估 Adam 在近似过程中对真实 NGD 的偏离，研究引入了规模不变的 $\gamma(\Delta\theta)$ 度量作为几何偏差的标准量化指标。基于该度量，研究团队构建了四个具有代表性差异的损失面进行对照测试：首先是参数空间分布均匀、无病态特性的良好条件线性回归模型；其次是参数间相关性极高、条件数极大的病态条件线性回归模型；第三类是常用的非线性边界分类模型逻辑回归；最后是包含非线性激活函数且损失面多峰的典型非凸小型神经网络。
在这四个场景下，$\gamma(\Delta\theta)$ 度量指标呈现出截然不同的波动轨迹。测试数据显示，当模型处于良好条件设置下时，Adam 的更新步长方向与真实自然梯度路径保持高度重合，几何偏差保持在极低水平。然而，随着损失面条件数恶化，Adam 的轨迹偏离度急剧上升。特别是在非凸的小型神经网络环境中，Adam 轨迹与理论 NGD 路径的错位偏差放大至 $10^3$ 的绝对数值量级，这表明在实际深度神经网络训练中，优化器的参数更新往往远离自然梯度方向。
影响分析
本文的量化发现为中文机器学习开发者与算法工程师在实际工程落地中采用 Adam 优化器提供了重要的理论底层依据。以往行业内常常假设，Adam 之所以能在深度学习中展现出强大的普适性，是因为它能够近似复现 NGD 这种具有优秀几何性质的优化路径。但本研究明确否定了这一因果推断，指出 Adam 取得优异优化效果的根源，并非其对自然梯度路径的紧密跟踪，而是源于结构化的近似误差与动量平滑效应之间形成的动态平衡。
这一认知转变对开发者的影响在于：当面对高维复杂神经网络参数空间（尤其是条件数极差的场景）时，不应盲目追求让优化器算法去强行契合自然梯度几何流形。更高的几何漂移在此语境下并非致命缺陷，只要优化算法的初始更新虽然变慢，但依然具备稳定的下降趋势，即可保证最终收敛至优秀的目标损失。因此，开发者在调参和模型收敛诊断时，可以将注意力从几何路径的对齐度，转移到对动量系数和近似误差平衡机制的控制上。
适用边界
必须指出的是，上述关于“几何偏差解耦收敛性能”的结论存在严格的适用边界。本研究使用的测试对象仅包含“小型”神经网络，且网络架构较为简化，损失面为非凸多峰结构。该研究未涉及包含数亿甚至数百亿参数规模的大规模基础大语言模型（LLM），也未涵盖生成式对抗网络（GAN）等对训练动态极其敏感且极易发散的场景。因此，不能直接将“$\approx 10^3$ 偏差下依然收敛”的结论线性外推至超大规模参数空间的分布式预训练任务中。此外，本测试环境未加入复杂的数据正则化网络结构或极端的梯度噪声，结论在缺乏这些工程化复杂因素的理想化纯优化环境中最为适用。
孤本观察
基于本研究数据，编辑认为：当前主流深度学习框架默认将 Adam 作为首选优化器的设定依然具有极高的工程价值，但本文揭示的 $10^3$ 偏差警示了开发者的认知误区——将“快速拟合”与“几何正确”混淆，未来在超大规模预训练中，过度依赖几何理论解释优化器行为可能会掩盖动量机制在对抗极值条件下的真实作用。
常见问题
该研究提交至 arXiv 的具体日期是哪天？
2026年5月30日。
在非凸小型神经网络中，Adam 的几何偏差达到了什么量级？
偏差最高可达到 10^3 级别。
研究指出导致 Adam 近似自然梯度的三个主要技术因素是什么？
仅保留对角线元素的截断操作、使用当前批次实际标签替代理论期望、处理数据时产生的时间延迟效应。
改进型经验 Fisher 矩阵（iEF）相比标准经验 Fisher 矩阵（EF）在优化路径上表现如何？
iEF 生成的参数更新路径显著优于 EF，因为 EF 容易陷入数值震荡或直接发散。
该研究中关于几何偏差未阻碍收敛的结论是否适用于大规模 LLM 训练？
不适用，研究未涉及数亿或数百亿参数规模的大语言模型，不能线性外推至超大规模分布式预训练任务。
来源：arXiv cs.LG