一句话结论
AWS 发布集成 EFA 的 Ray Train 深度学习容器，使开发者能在 Amazon EKS 上高效运行分布式训练。
关键要点
- AWS 在 Amazon ECR 公共仓库发布 Ray Train DLC，集成 Ray 2.58.0、PyTorch 2.13.0 及 CUDA 13.0.2。
- 容器支持通过 Ray runtime_env 动态安装依赖，无需重建镜像即可扩展功能。
- 示例方案在 EKS 使用 g6.12xlarge 实例，每台 Worker 配 4 块 NVIDIA L4 GPU 和 1 个 EFA 接口。
- 训练任务使用 PyTorch FSDP 策略在 bfloat16 精度下微调 Qwen2.5-1.5B，单卡显存占用从约 12 GB 降至约 1.5 GB。
- 全流程部署耗时 20 至 30 分钟，资源清理总成本约每小时 9.50 美元。
背景与事实
Amazon Web Services（AWS）近期发布了针对 Ray Train 优化的深度学习容器（DLC），托管于 Amazon ECR 公共仓库。该容器整合了 Ray 2.58.0、PyTorch 2.13.0、torchvision 0.28.0、CUDA 13.0.2、cuDNN、NCCL 2.29.7、EFA 用户态库、AWS OFI NCCL 插件及 GDRCopy 等组件。容器支持通过 Ray runtime_env 动态安装依赖，开发者无需重建镜像即可扩展功能。示例方案部署于 Amazon EKS 单一 VPC 私有子网，通过 NAT 网关访问互联网。集群配置包括一台 m7i.xlarge 系统节点托管 KubeRay 操作符及 Ray Head，以及两台 g6.12xlarge 实例作为 Worker。每台 Worker 配备 4 块 NVIDIA L4 GPU、48 vCPU、192 GiB 内存、40 Gbps 网络及 1 个 EFA 接口，位于同一可用区以满足 EFA 跨区限制。
网络配置默认设置 FI_PROVIDER=efa，NCCL_SOCKET_IFNAME 指向 eth0，并排除回环及 Docker 网桥接口。资源请求中，每个 Worker 请求 4 块 GPU 和 1 个 EFA 接口（vpc.amazonaws.com/
常见问题
Ray Train DLC 容器集成了哪些关键软件版本？
容器整合了 Ray 2.58.0、PyTorch 2.13.0、torchvision 0.28.0、CUDA 13.0.2、cuDNN、NCCL 2.29.7 及 EFA 用户态库。
使用 Qwen2.5-1.5B 微调时单卡显存占用发生了多大变化？
在 bfloat16 精度下使用 PyTorch FSDP 策略微调 Qwen2.5-1.5B，单卡显存占用从约 12 GB 降至约 1.5 GB。
示例方案中每台 EKS Worker 实例的配置是什么？
每台 g6.12xlarge Worker 配 4 块 NVIDIA L4 GPU、48 vCPU、192 GiB 内存、40 Gbps 网络及 1 个 EFA 接口。
如何扩展容器功能而无需重建镜像？
通过 Ray runtime_env 动态安装依赖，开发者无需重建镜像即可扩展功能。
部署全流程耗时及资源清理总成本大约是多少？
全流程部署耗时 20 至 30 分钟，资源清理总成本约每小时 9.50 美元。