长时程强化学习突破神经算子预算约束难题，局部校正策略决定PDE求解精度

一句话结论

针对神经算子自回归部署中的预算分配难题，研究提出的RV-PI算法通过长时程强化学习优化局部校正时机，在固定预算下显著降低PDE求解的轨迹相对误差。

关键要点

• 提出“预算化自适应神经算子求解”框架，结合全局傅里叶神经算子、局部残差校正算子及情境感知选择器，由宏策略决定校正时机与预算分配。
• 引入轨迹验证策略改进（RV-PI）算法，通过实际持续滚动评估可行校正次数，将长时程优势转化为保守策略目标，仅在留出轨迹误差降低时接受更新。
• 在浅水方程基准测试（32次干预预算）中，RV-PI三个种子平均轨迹相对L2误差为0.6910，相比即时策略改进提升5.37%，相比随机宏策略提升2.41%。
• 在强迫驱动布鲁塞尔振荡器基准测试（76次干预预算）中，RV-PI误差降至0.09954，相比即时策略改进提升2.31%，相比随机宏策略提升5.32%。
• 研究证明在固定校正预算下，局部校正的价值取决于其对自回归轨迹的下游影响，而非仅看即时误差降低。

背景与事实

神经网络算子（Neural Operators）已成为求解时间依赖偏微分方程（PDE）的高效替代方法，但其自回归部署模式面临“校正分配”难题：预测误差在时空分布上不均匀，而沿轨迹仅能投入有限次数的局部校正。现有方法多依赖即时误差降低作为决策依据，忽略了单次校正对后续轨迹的长远影响。2026年9月19日提交于arXiv cs.LG栏目的研究《Learning When to Refine: Long-Horizon Reinforcement Learning for Budgeted Neural-Operator PDE Solvers》针对此问题，将求解过程建模为“预算化自适应神经算子求解”任务。该框架由三部分构成：全局傅里叶神经算子推进整个场量，局部算子提出分块残差校正建议，情境感知选择器确定校正位置，宏策略（macro policy）则决定何时及投入多少剩余预算进行校正。

核心创新在于轨迹验证策略改进（RV-PI）算法。传统强化学习在长期任务中易陷入即时奖励陷阱，RV-PI通过实际执行学习到的PDE求解器进行持续滚动（continuation rollouts）来评估可行校正次数，将长时程优势（long-horizon advantages）转化为保守的策略目标。算法仅在留出轨迹（held-out trajectory）误差实际改善时才接受策略更新，有效避免了过拟合局部最优。实验在浅水方程（shallow-water）和强迫驱动布鲁塞尔振荡器（forcing-driven Brusselator）两个基准上进行。浅水方程采用32次干预预算，RV-PI三种子平均轨迹相对L2误差为0.6910，较即时策略改进（immediate-only policy improvement）降低5.37%，较随机宏策略（RandomMacro）降低2.41%。布鲁塞尔振荡器采用76次干预预算，RV-PI误差为0.09954，较即时策略改进降低2.31%，较随机宏策略降低5.32%。数据表明，长时程策略在两个基准上均稳定优于基线。

影响分析

对中文开发者与PDE求解从业者而言，该研究提供了在有限计算资源下提升神经算子精度的新范式。传统方法在部署阶段往往采用均匀校正或基于即时误差贪心选择，而RV-PI证明将校正决策视为长时程强化学习问题可挖掘更优策略。对于已部署神经算子的工程团队，引入轨迹验证机制可避免局部校正对后续演化的负反馈，尤其适合误差时空分布高度不均匀的流体力学、化学反应动力学等场景。需注意，RV-PI的滚动评估在训练阶段计算开销较大，部署时策略可轻量化，但完整实现需适配具体PDE求解器的自回归接口。

适用边界

该结论严格依赖“固定校正预算”与“自回归时间推进”两个前提。若PDE求解采用并行时间积分或校正预算随时间步动态扩容，RV-PI的宏策略优势可能减弱；若误差时空分布均匀且局部校正边际收益稳定，即时策略改进与随机基线差距将缩小。此外，研究所用浅水方程与布鲁塞尔振荡器均为基准系统，在更高维数、更强非线性或含多物理场耦合的PDE上，三种子误差指标与相对提升幅度需重新验证，不宜直接外推至工业级复杂模型。

孤本观察

研究将强化学习中的“长时程优势”与PDE求解的“轨迹误差”直接挂钩，这一验证机制是区别于普通离线策略改进的关键。编辑判断：RV-PI的核心价值不在提升神经算子本身精度，而在于为已有算子增加了“预算感知”的调度层，这一思路可迁移至其他需资源约束下顺序决策的科学计算场景。

来源：arXiv cs.LG