AWS Machine Learning Blog 发布的一篇实战文章介绍了如何将 NVIDIA Resiliency Extension（NVRx）集成到 Amazon EKS 上的 PyTorch FSDP 训练中，以提升大规模分布式训练的容错能力。该方案的核心思路是让检查点 I/O 与训练过程重叠，从而减少传统同步检查点带来的停顿，并在发生 GPU 故障时实现秒级恢复。
文章覆盖了三项关键机制：异步检查点（async checkpointing）、进程内重启（in-process restart），以及基于 ft_launcher 的作业内重启（in-job restart）。通过将这些能力引入 PyTorch FSDP 训练流程，训练任务在遇到 GPU 故障时无需从头开始，可以在较短时间内恢复并继续推进。
在基准测试方面，文章给出了基于 H100 的测试结果：在 2 到 8 个节点的规模下，训练效率达到 99% 以上，故障恢复时间处于秒级。这些数据表明，NVRx 与 Amazon EKS 的结合可在保持高训练效率的同时，为分布式训练提供更快的故障恢复路径。