一句话结论
在 Amazon SageMaker HyperPod 上，使用 LoRA 和 GRPO 微调 GPT-OSS-20B 使其多语言推理语言准确率从 22% 跃升至 100%，GRPO 进一步将答案准确率提升 8 个百分点。
关键要点
- GPT-OSS-20B 基础模型在 50 例多语言推理测试中仅 22% 使用目标语言（英语 100%、德语 10%、法语/西班牙语/意大利语 0%），经监督微调（SFT）后推理语言准确率提升至 100%。
- 在 SFT 检查点基础上，采用组相对策略优化（GRPO）微调使答案语言准确率从 62% 提升至 70%，提升 8 个百分点；Qwen2.5-7B 对照组 GRPO 多语言答案准确率提升 6%。
- 微调环境使用 4 台 ml.g6e.12xlarge（16 块 NVIDIA L40S 48GB GPU）、PyTorch 张量并行（TP）/ FSDP、bf16 精度，训练步数 1,000 步；GRPO 可训练参数约 0.068%（13.6M/20B）。
- 实验基础设施采用 Amazon EFA（100Gbps）节点间通信与 Amazon FSx for Lustre 数据存储，节点内并行采用 Ray 2.44、KubeRay 1.4.2 编排，推理使用 vLLM 0.8.4，GRPO 训练使用 veRL v0.6.1。
- 完整微调代码（SFT + GRPO）位于 GitHub awesome-distributed-ai 仓库的 3.test_cases/pytorch/trl/gpt-oss-lora-grpo/ 目录，数据集为 HuggingFaceH4/Multilingual-Thinking（949 条训练 + 50 条验证）。
背景与事实
本文描述了一套在 Amazon SageMaker HyperPod 上对开放权重推理模型 GPT-OSS-20B 进行多语言推理微调的完整工程实践。GPT-OSS-20B 是 20B 参数规模开放权重模型，其基础权重在多语言推理任务上存在显著语言遵循缺陷：在 50 例多语言推理评估中，仅 11 例（22%）使用目标语言作答，其中英语 100%、德语 10%、法语 0%、西班牙语 0%、意大利语 0%。为系统性提升该能力，工程团队基于 PyTorch TRL 库与 LoRA 技术执行监督微调（SFT），SFT 阶段使用 HuggingFaceH4/Multilingual-Thinking 数据集，该数据集包含约 949 条训练样本和 50 条验证样本。SFT 完成后，推理语言准确率跃升至 100%（50/50），但答案语言准确率仅为 62%。
SFT 在 Amazon SageMaker HyperPod 集群上执行，硬件配置为 4 台 ml.g6e.12xlarge 节点（每节点 16 块 NVIDIA L40S 48GB GPU，共 64 GPU），通信使用 Amazon EFA 实现 100Gbps 高速节点间互联，训练数据存储于 Amazon FSx for Lustre 文件系统并挂载为名为 fsx-claim 的 PersistentVolumeClaim（PVC）。训练精度为 bf16，并行策略为全分片数据并行（FSDP），共执行 1,000 步。随后在 SFT 检查点基础上，采用组相对策略优化（GRPO）进一步微调，GRPO 使用 LoRA 配置 r=8、α=16，可训练参数约 13.6M（占 20B 总参数的 0.068%），学习率 1e-6，训练 10 个 epoch，奖励函数范围为 -7.5 至 +7.0。GRPO 阶段基于 SFT 检查点添加新 LoRA，使用 veRL v0.6.1 框架执行，奖励模型通过 vLLM 0.8.4 生成响应进行评分。
为验证方法论的通用性，团队使用 Qwen2.5-7B 作为控制实验模型，采用 veRL 框架、Ray/KubeRay 分布式编排及 vLLM 生成响应。Qwen2.5-7B 在相同多语言推理任务中基础模型正确率为 0%，SFT 后结构化格式正确率 92%、答案语言正确率 38%，SFT + GRPO 后结构化格式正确率提升至 98%、答案语言正确率提升至 44%（提升 6 个百分点）。在 GSM8K 基准测试中，Qwen2.5-7B 基础模型正确率为 90.5%（181/200），GRPO 训练后仍为 90.5%，因基础模型已接近峰值准确率，缺乏优化空间，GRPO 未产生增益。软件栈包括 Ray 2.44、KubeRay 1.4.2、veRL v0.6.1、vLLM 0.8.4。完整代码位于 GitHub awesome-distributed-ai 仓库 3.test_cases/pytorch/trl/gpt-oss-lora-grpo/ 目录，分布式训练操作可参考 Amazon SageMaker HyperPod 文档。
影响分析
对于中文开发者与从业者，该实验提供了在多语言推理场景下微调 20B 级开放权重模型的可复现工程路径。核心结论是：监督微调（SFT）是教授模型新行为（如使用目标语言作答）的主要手段，GRPO 作为后续优化步骤仅在存在提升空间时提供额外价值。中文团队若需部署支持中英等多语言的推理模型，可参考该实验的 LoRA 参数配置（r=8, α=16）与 1,000 步 SFT 训练方案，在 64 块 L40S GPU 的 HyperPod 集群上约数小时内完成 SFT + GRPO 全流程。此外，Qwen2.5-7B 对照组数据（SFT + GRPO 答案语言准确率 44%）表明，7B 级模型在多语言推理任务上仍远落后于 20B 级，团队需根据目标语言覆盖范围与准确率要求权衡模型规模与训练成本。
需特别注意的是，该实验的 100% 推理语言准确率基于 50 条验证样本，样本量较小；GRPO 奖励函数范围 -7.5 至 +7.0 及 1e-6 学习率为特定实验调参结果，迁移到其他任务或数据集时需重新调优。中文开发者可直接复用 awesome-distributed-ai 仓库代码与 HyperPod 基础设施，降低多语言推理微调的工程门槛。
适用边界
上述结论在以下条件下不成立或需调整：验证集样本量显著大于 50 条时，100% 推理语言准确率的统计置信度会下降；若目标语言不在训练数据（HuggingFaceH4/Multilingual-Thinking 覆盖法语、西班牙语、意大利语、德语、英语）范围内，语言遵循效果无法保证；当基础模型在目标任务上已接近峰值准确率（如 Qwen2.5-7B 在 GSM8K 上 90.5%），GRPO 不会产生增益，仅 SFT 或基础模型推理适用；若硬件集群不是 64 块 L40S（如 A100/H100），FSDP 并行策略与 EFA 通信配置需重新调整。
孤本观察
本实验的关键洞察是 SFT 与 GRPO 的分工明确：SFT 负责"教会"模型新行为，GRPO 负责"优化"已有行为的奖励信号，这一分层设计使 20B 级开放权重模型的多语言推理能力可在 64 GPU 集群上以低成本、可复现方式实现，为中文团队定制多语言 LLM 提供了直接工程参考。
常见问题
GPT-OSS-20B 微调使用的硬件集群配置及通信带宽是多少？
使用 4 台 ml.g6e.12xlarge 节点，共 64 块 NVIDIA L40S 48GB GPU，节点间通信采用 Amazon EFA 实现 100Gbps 高速互联。
SFT 与 GRPO 阶段的可训练参数量及 LoRA 配置参数具体是多少？
可训练参数约 13.6M（占 20B 总参数的 0.068%），LoRA 配置为 r=8、α=16，学习率 1e-6，GRPO 训练 10 个 epoch。
实验中使用的关键软件版本号有哪些？
Ray 2.44、KubeRay 1.4.2、veRL v0.6.1、vLLM 0.8.4，训练数据为 HuggingFaceH4/Multilingual-Thinking。
在何种条件下 GRPO 不会带来准确率增益？
当基础模型在目标任务上已接近峰值准确率时（如 Qwen2.5-7B 在 GSM8K 上 90.5%），GRPO 未产生增益，仅 SFT 或基础推理适用。
100% 推理语言准确率的统计置信度受什么限制？
该准确率基于 50 条验证样本，样本量较小；若验证集显著大于 50 条，其统计置信度会下降。