课程驱动深度强化学习实现远程火箭自主精准着陆

一句话结论

该研究通过课程驱动的深度强化学习框架，在 100,000 轮评测中实现 99.98% 的远程着陆成功率，较基线模型显著提升了着陆精度与燃料利用效率。

关键要点

• 采用三阶段课程学习，初始水平距离设定为 1,000 至 1,500 单位，远超既往基准测试范围。
• 引入评论家预热程序与复习机制，有效防止灾难性遗忘，确保模型在复杂环境下的稳定性。
• 使用完整 3×3 旋转矩阵构建高维观测向量，提升了对非线性动力学与环境不确定性的感知能力。
• 重新设计奖励函数，将单步奖励量级限制在 O(1) 范围内，解决了旧方案中奖励分量校准不当与优化目标冲突的问题。
• 在 100,000 轮次评估中，提出策略的着陆成功率为 99.98%，而基线模型仅为 68.31%。

背景与事实

自主垂直着陆可重复使用发射载具是航空航天工程中的关键难题，其核心挑战在于高度非线性的动力学特性、严苛的精度要求以及固有的环境不确定性。传统的基于模型的控制方法面临巨大挑战，而强化学习（RL）作为一种新兴替代方案，虽然前景广阔，但现有方法通常依赖扁平的训练范式和高度简化的初始条件，这严重限制了其在实际场景中的适用性。针对这些痛点，该研究提出了一套全面的课程驱动深度强化学习框架，旨在同时掌握远程导航与精准着陆两项核心能力。该框架通过实施三阶段课程学习，并辅以评论家预热程序及防止灾难性遗忘的复习机制，显著增强了智能体在复杂环境下的适应能力。

在技术实现层面，研究团队构建了一个包含完整 3×3 旋转矩阵的高维观测向量，使智能体能够更精确地感知空间姿态变化。这一设计使得智能体能够从 1,000 至 1,500 单位的初始水平距离——这一距离远超以往同类研究的基准范围——成功执行软着陆操作。此外，研究对奖励函数进行了重新设计，旨在降低不必要的计算开销并克服早期公式的局限性。早期的奖励函数存在奖励分量校准不佳以及潜在冲突的优化目标等问题，而新设计的函数通过将单步奖励量级限制在 O(1) 范围内，其进度项则累计计算轨迹中关闭的总距离，从而实现了更稳定、更高效的训练过程。

根据公开的 100,000 轮次结果数据，在评估条件下，所提出的策略实现了 99.98% 的成功率，而基线模型的成功率仅为 68.31%。在资源效率与着陆精度方面，提出的策略保留了初始燃料容量的 69.1%，并实现了距着陆台中心平均 7.07 单位的最终距离，相比之下，基线模型的最终距离为 13.10 单位。该论文于 2026 年 10 月 24 日提交至 arXiv 计算机科学与技术领域机器学习分支，作者为 Atin Chowdhury。着陆过程的可视化结果已作为视频附件提供，供研究者进一步分析其动态轨迹与稳定性表现。

影响分析

对于中文开发者与从业者而言，这一研究成果在低成本、高鲁棒性的自主导航算法层面具有显著借鉴意义。尽管该研究侧重于学术基准测试，但其提出的课程学习策略与奖励函数重构方法，可直接应用于仿真环境中的强化学习模型训练。特别是针对“灾难性遗忘”问题的复习机制，为处理多阶段、多任务的学习型智能体提供了具体的工程实现参考。在航天领域，这种能够处理高维状态空间（如完整旋转矩阵）且具备高成功率的算法框架，有助于降低实际火箭回收任务中的控制风险，提升载荷安全性。然而，必须明确这是分析判断：该结论主要基于仿真环境的成功指标，实际工程转化仍需考虑气动、推进系统及传感器噪声等未完全覆盖的物理因素，开发者在应用时需结合具体硬件约束进行二次开发。

适用边界

该结论仅在高度简化的仿真环境与特定评估条件下成立。研究中的“单位”未明确对应真实物理尺度（如米或千米），因此 7.07 单位的着陆误差在真实工程场景中可能过大或过小，需经过尺度映射验证。此外，模型依赖于 3×3 旋转矩阵的高维观测，若实际传感器仅提供欧拉角或四元数且存在较大漂移，该架构的泛化能力可能会受到影响。本方法不适用于非垂直着陆场景、极端恶劣气象条件下的自主导航，以及缺乏高算力支持进行 100,000 轮次大规模预训练的资源受限边缘计算设备。

孤本观察

该研究通过限制奖励量级与引入复习机制，巧妙平衡了探索效率与模型稳定性，这种在强化学习中处理多阶段任务的思路，为突破“扁平训练”瓶颈提供了极具参考价值的范式。

来源：arXiv cs.LG