Amazon SageMaker 推理服务支持 NVIDIA Multi-Instance GPU 分区

一句话结论

SageMaker 推理支持 MIG GPU 分区，允许一卡多开以提升利用率并降低高并发推理成本。

关键要点

• Amazon SageMaker Inference 现支持基于 NVIDIA Multi-Instance GPU (MIG) 的 GPU 分区，可将物理 GPU 划分为最多 7 个具备硬件隔离的独立分区。
• 该功能仅适用于实时推理组件端点，不支持单模型端点、无服务器端点、异构实例池及异步调用模式。
• 支持实例包括 P4d (A100)、P5 (H100)、G7 (RTX PRO 4500 Blackwell) 及 G7e (RTX PRO 6000 Blackwell)，最大分区数分别为 7、7、2、4。
• 配置端点时设置 AcceleratorPartitionLayouts 字段即可启用分区，InService 状态下分区资源为空，测试显示配置耗时增加约 17 秒。
• 在 US West (Oregon) 区域，ml.p5.48xlarge 每 16 单元成本为 $63.296/小时，高并发长输入场景下使用分区比使用完整 GPU 更具成本优势。

背景与事实

Amazon Web Services (AWS) 在 SageMaker Inference 服务中引入了对 NVIDIA Multi-Instance GPU (MIG) 技术的支持。MIG 允许将单块物理 GPU 划分为多个独立的分区，每个分区拥有固定的计算单元、专用显存以及硬件级别的隔离边界。这一功能旨在解决大型语言模型及复杂 AI 工作负载在 GPU 利用率不足时面临的资源浪费问题。通过分区，用户可以在同一物理实例上运行多个独立的推理组件副本，从而提高吞吐量并优化成本结构。

在技术实现层面，用户需在 CreateEndpointConfig 的生产变体中配置 AcceleratorPartitionLayouts 字段以指定分区布局。值得注意的是，AWS 未为此功能新增任何 API 操作或 IAM 权限动作，未设置该字段的现有端点行为保持不变。分区布局在变体级别统一应用，不绑定特定的物理 GPU 位置，调用方通过推理组件名称寻址，分区信息不会暴露在前端请求中。性能测试表明，启用分区后 InService 状态下初始分区为空，端点配置过程额外耗时约 17 秒。

支持该功能的实例规格涵盖多种 NVIDIA GPU 型号。P4d 实例搭载 NVIDIA A100 40GB GPU，最多支持 7 个分区，档案范围从 mig-1g.5gb 到 mig-7g.40gb；其中 mig-1g.10gb 档案要求驱动程序版本不低于 R525，而默认的 470.256.02 驱动不支持此配置。P5 实例搭载 NVIDIA H100 80GB GPU，同样支持最多 7 个分区，其 40GB 分区性能对标完整的 A100-40GB 卡。此外，较新的 Blackwell 架构实例 G7 (RTX PRO 4500 32GB) 支持最多 2 个分区，G7e (RTX PRO 6000 96GB) 支持最多 4 个分区。

在资源分配与性能表现方面，每个推理组件副本占用一个分区，NumberOfAcceleratorTokensRequired 恒为 1，GPU 内存由分区类型决定，CPU 和系统内存由宿主资源参数定义。MIG 提供硬件边界隔离，但共享宿主的 CPU、内存、存储和网络资源。以 Llama-3.1-8B-Instruct (FP16) 为例，模型权重约 16GB，加上 KV 缓存及 1-2GB 运行时开销，40GB 分区可稳定支持 8,000 token 的上下文长度。基准测试使用 genai-bench 工具，覆盖并发度 2 至 512 的范围，结果显示 Prefill 阶段主要受算力限制，而 Decode 阶段主要受内存带宽限制。Salesforce 参与了该功能的需求定义与初始实现验证，目标在于提高 GPU 利用率并降低推理成本。

影响分析

对于中文开发者与从业者而言，这一更新提供了更细粒度的资源管理手段，特别是在高并发、长输入的推理场景下。分析判断显示，当工作负载特征为高并发且输入长度较长时，利用 MIG 分区将大 GPU 拆分为多个小分区能显著提升硬件利用率，从而在保持同等性能的前提下降低单位请求的成本。然而，计费模式仍按完整 GPU 实例的小时数计算，这意味着如果分区利用率不足，成本优势将被抵消。

从开发流程角度看，无需新增 IAM 权限降低了部署门槛，但分区配置在组件生命周期内固定，任何更改都需要迁移流量，这增加了架构调整的复杂度。对于使用 P4d 或 P5 实例的团队，需特别注意驱动程序版本兼容性，例如 mig-1g.10gb 档案必须使用 R525 或更高版本驱动。此外，虽然分区提供了硬件隔离，但共享宿主资源意味着存在潜在的争用风险，开发者需在架构设计阶段充分评估 CPU 和网络 I/O 的瓶颈影响。

适用边界

该结论不成立于低并发或短输入场景，在此类情况下使用完整 GPU 而非分区具有更低的成本效益。MIG 功能仅支持实时推理组件端点，因此无服务器端点、异步调用场景以及异构实例池无法使用此特性。分区类型在端点生命周期内不可动态调整，如需更改分区布局必须重新部署并迁移流量，不适合需要频繁弹性伸缩资源规格的场景。此外，并非所有区域和实例都支持所有分区档案，用户需在部署前确认具体区域的配额与实例可用性。

孤本观察

编辑判断认为，AWS 将 MIG 支持扩展到 Blackwell 架构的 G7 和 G7e 实例，表明其正在将 GPU 分区技术从数据中心级 Hopper/Ampere 架构向专业工作站级 Blackwell 架构迁移，这可能预示着未来推理基础设施将进一步细化资源粒度。然而，由于计费仍按整卡计算，用户必须精算并发量与输入长度，才能避免“付费使用但未充分利用”的资源浪费。

来源：AWS Machine Learning Blog