亚马逊 SageMaker AI 发布多轮强化学习实战指南，GPT-OSS-20B 解题率升至 84%

一句话结论

亚马逊 SageMaker AI 上线多轮强化学习（MTRL）功能，通过低成本训练显著提升小模型在复杂序列任务中的表现。

关键要点

• 亚马逊 SageMaker AI 支持多轮强化学习（MTRL），允许智能体在序列任务中基于成功或失败的反馈进行迭代学习，训练成本仅需约 339 美元即可将 GPT-OSS-20B 的解题率从 61% 提升至 84%。
• 该功能支持无服务器化部署，智能体可灵活运行在 Bedrock AgentCore、EKS、EC2 或 Fargate 上，并采用 LoRA 适配器微调机制，有效降低训练资源消耗。
• 目前支持的基底模型包括 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B 和 Qwen 3.6 27B，其中 GPT-OSS-20B 因单位代币价格最低且支持按请求控制推理努力，被选为官方教程的默认案例。
• 计费模式按百万代币分为 Prefill、Sample、Train 三个维度，在 us-east-1 区域，GPT-OSS-20B 的训练总耗时 12 小时 40 分钟，消耗数百万代币，总费用约为 338.50 美元。
• 用户需配置特定的 IAM 角色权限，包括信任 bedrock-agentcore.amazonaws.com 的运行时角色和信任 job.sagemaker.amazonaws.com 的训练任务角色，且 CreateJob 操作严禁跨区域调用运行时 ARN。

背景与事实

亚马逊 SageMaker AI 近期发布了一篇关于多轮强化学习（Multi-Turn Reinforcement Learning, MTRL）的实战指南，旨在帮助用户训练能够处理复杂序列任务的智能体。该系统的核心逻辑在于，智能体通过尝试解决任务并根据最终的成功与否获得反馈，从而迭代优化其行为策略。官方教程以经典的 Wordle 猜词游戏作为教学案例，尽管前沿大模型已能良好游玩该游戏，但 MTRL 的实际应用价值在于训练较小规模的模型以处理特定业务场景下的多步骤复杂任务。

在技术实现上，MTRL 服务采用无服务器化架构，能够自动配置底层基础设施。智能体通过 AWS Lambda 转发器进行部署，支持运行在 Amazon Bedrock AgentCore、Amazon EKS、Amazon EC2 或 Amazon Fargate 等多种环境。测试案例中，使用 Strands 智能体框架通过 SageMaker Job Runtime 提供的 OpenAI 兼容端点调用策略模型，并借助 guess_word 工具进行最多 6 次猜测。模型更新采用 Group Relative Policy Optimization (GRPO) 算法，基于同一词多次 rollout 的奖励分布来优化 LoRA 适配器，而非全量微调模型，这显著降低了计算开销。

关于成本与性能数据，官方数据显示，使用 MTRL 训练 GPT-OSS-20B 模型在保留词集上的解题率有明显提升。在默认推理努力设置下，解题率从基线的 61% 提升至 84%；在低努力设置下，从 15% 提升至 69%。一次包含 100 步的训练运行耗时 12 小时 40 分钟，共执行 105,486 次 rollout，消耗 491.6M Prefill 代币、159.7M Sample 代币和 643.3M Train 代币，总成本为 338.50 美元。此外，AgentCore 运行时按 vCPU 和内存单独计费，在 us-east-1 区域的示例费用约为 79 美元。

在部署细节方面，用户需安装 AgentCore CLI，执行命令 `npm install -g @aws/agentcore`。权限配置涉及两个关键 IAM 角色：Agent 运行时角色由 `agentcore deploy` 创建，需信任 `bedrock-agentcore.amazonaws.com` 并附加 `AmazonSageMakerJobRuntimeAccess` 策略；训练任务角色需手动创建，信任 `job.sagemaker.amazonaws.com`，具备 `sts:AssumeRole` 和 `sts:TagSession` 权限，并附加 `AmazonSageMakerJobFullAccess` 策略。运行时通过读取 `agentcore.json` 中的环境变量 `REASONING_EFFORT=low` 来控制推理深度，该设置可使每轮采样 Token 比中等努力少 63% 至 83%。

影响分析

这一功能的发布对中文开发者及从业者具有显著的降本增效意义。首先，MTRL 将强化学习的门槛大幅降低，用户无需构建复杂的分布式训练集群，即可在 SageMaker 上无服务器化地训练多轮交互模型。对于拥有大量细分场景（如客服对话、多步操作指令）的开发者而言，这意味着可以使用 GPT-OSS-20B 或 Qwen 3.6 27B 等开源或小参数模型，通过数百美元的微调成本，获得接近前沿模型的任务解决能力。其次，GRPO 算法结合 LoRA 适配器的组合，使得模型微调更加精细且资源友好，特别适合那些希望在不改变底层模型权重的前提下，针对特定垂直领域进行能力增强的团队。

然而，开发者需注意合规与成本控制的边界。由于数据保留在用户自己的 AWS 账户中，不会用于训练亚马逊的基础模型，这在数据隐私保护上是一个优势，但也意味着用户需自行确保数据格式符合 Apache Parquet、JSON 数组或 CSV 等要求。此外，推理努力参数对成本影响巨大，低努力设置虽节省 Token，但需权衡模型性能上限。对于中文用户，由于支持的模型中 Qwen 3.6 27B 仅在 us-west-2 区域可用，跨时区的延迟和潜在的跨区域架构限制需要在生产环境中仔细评估。

适用边界

该结论主要适用于希望使用中小规模模型解决多步骤、序列决策问题的开发场景。如果任务属于单轮问答、图像识别或不需要多步迭代反馈的结构化数据处理，MTRL 的架构复杂度及其成本（包括 Prefill、Sample 和 Train 的累积费用）可能不具经济性。此外，由于当前支持的模型列表及区域有限（如 Gemma 4 31B 仅限 us-west-2），对于有严格数据驻留合规要求或希望使用其他基底模型的开发者，该功能目前可能不适用。同时，CreateJob 操作拒绝跨区域运行时 ARN 的限制，意味着高可用架构中跨区域部署智能体运行时需要额外设计，不能简单跨区调用。

孤本观察

编辑认为，SageMaker 将 MTRL 以无服务器化和细粒度计费的形式落地，标志着云厂商正试图将原本属于大型实验室的高阶强化学习技术标准化，使其成为中小开发者的“标配工具”。GPT-OSS-20B 被选为默认教学案例，暗示了开源模型在企业级强化学习流水线中的核心地位正在上升。

来源：AWS Machine Learning Blog