一句话结论
AWS 推出基于 llama.cpp 的 Amazon SageMaker AI 部署方案，通过 CPU 和 GPU 实例支持量化决策模型的高性能推理，显著降低交互决策延迟。
关键要点
- 该方案支持在 Amazon SageMaker AI 的 CPU 和 GPU 基础设施上部署量化决策模型，容器自动识别 Amazon S3 中 model.tar.gz 包内的首个 .gguf 文件，并将 POST /invocations 请求映射至 llama-server 的 /v1/chat/completions 端点，提供兼容 OpenAI 接口的对话补全服务。
- 针对需要直接获取 logits 及模型状态操作的应用，可通过集成 SemIf 适配器扩展 DLC，该组件保留 CPU 或 CUDA 库并替换入口点，返回包含 option_ids、条件概率、原始 logits、token 及提示元数据的结构化响应，而非单纯生成文本。
- 基准测试显示，在 ml.g6e.xlarge GPU 实例上，Qwen3.5-4B Q4_K_M 模型 P50 延迟为 0.352 秒，P95 延迟为 0.599 秒；而在 ml.c6i.8xlarge CPU 实例上，P50 延迟为 1.715 秒，P95 延迟为 19.291 秒，GPU 端点在 P50 和 P95 延迟下分别比 CPU 快 4.9 倍和 32.2 倍。
- 模型部署需通过 AWS CodeBuild 构建子镜像并存入 Amazon ECR，使用 server-sagemaker-cpu-v1 或 server-sagemaker-cuda-v1 镜像，无需自定义 Dockerfile；GPU 构建拒绝可变镜像标签，模型 manifest 记录修订版本和校验和，GGUF 校验和不匹配时构建将停止。
背景与事实
AWS 为 llama.cpp 提供了托管基础支持，使开发者能够在 Amazon SageMaker AI 上部署量化决策模型。该方案利用 Amazon SageMaker AI 的 CPU 和 GPU 实例，支持通过 AWS DLC for llama.cpp 提供兼容 OpenAI 的对话补全服务。部署路径要求将模型打包为 model.tar.gz 并存储于 Amazon S3，容器启动时自动识别 /opt/ml/model 目录下的首个 .gguf 文件。对于需要直接读取 logits 的场景，用户可通过 SemIf（前身为 OpenJev）扩展功能，该扩展需使用 AWS CodeBuild 构建子镜像并存入 Amazon ECR，保留对应的 CPU 或 CUDA 库，并替换入口点以支持直接读取 logits。
在性能基准测试中，研究团队使用了 231 个 JevBench 任务进行对比。在 CPU 配置下，使用 ml.c6i.8xlarge 实例（32 线程）运行 Qwen3.5-4B Q4_K_M 模型，有效响应率为 231/231，准确率为 179/231（77.5%），P50 延迟为 1.715 秒，P95 延迟为 19.291 秒。在 GPU 配置下，使用 ml.g6e.xlarge 实例实现全 GPU 卸载，llama.cpp 将 34 层模型卸载至 NVIDIA L40S，有效响应率同样为 231/231，准确率提升至 180/231（77.9%），P50 延迟显著降至 0.352 秒，P95 延迟降至 0.599 秒。值得注意的是，CPU 与 GPU 使用不同的 llama.cpp 构建，在 6 项高难度任务中预测结果存在差异，单答案准确率差异被视为运行时变化。此外，测试中还评估了 2B 和 0.8B 模型，其准确率分别为 66.7% 和 58.4%，因此默认保留 4B Q4_K_M 模型进行主要性能对比。
部署流程涉及多个关键组件。构建过程需等待 CodeBuild 状态变为 SUCCEEDED，model-manifest.json 文件记录修订版本和校验和。系统使用 server-sagemaker-cpu-v1 或 server-sagemaker-cuda-v1 镜像，这些镜像并非基于 EC2，而是实现了 /ping 和 /invocations 容器契约。模型可通过 Amazon S3 提供 GGUF 文件，或配置 SM_LLAMA_CPP_HF_REPO 和 SM_LLAMA_CPP_HF_FILE 参数从 Hugging Face 下载。CPU 配置中设置 n_gpu_layers=0，适配器序列化单个状态 llama.cpp 上下文评分，并通过增加端点实例进行扩展。GPU 端点则请求全模型卸载，实例池作为放置回退机制而非负载均衡。响应中保留选项顺序，包含条件概率、原始 logits、token 及提示元数据。清理资源时需删除 SageMaker AI 端点、端点配置和模型，但保留 CodeBuild 项目、ECR 仓库、S3 对象、日志及特定 IAM 角色。
影响分析
这一方案对中文开发者与从业者产生了显著的实践影响。首先，它降低了在云端部署量化决策模型的门槛，开发者无需编写自定义 Dockerfile 或管理复杂的容器镜像构建流程，即可通过标准化的 DLC 和适配器获得 OpenAI 兼容的推理接口。这对于需要快速集成决策模型的业务团队而言，意味着开发周期的缩短和运维复杂度的降低。
其次，明确的性能基准数据为架构选型提供了直接依据。由于 GPU 端点在 P95 尾延迟上比 CPU 快 32.2 倍，对于交互式决策、长提示处理或对尾部延迟有严格目标的应用场景，开发者应优先选择 GPU 实例以保障用户体验。而对于后台任务、离线批处理或吞吐量不敏感的工作负载，CPU 实例则是更具成本效益的选择。分析判断认为，这种清晰的性能分层有助于企业优化云资源开销，避免为非延迟敏感场景支付过高的 GPU 成本。
适用边界
该结论主要适用于基于 llama.cpp 的量化决策模型在 Amazon SageMaker AI 上的部署场景。其局限性在于，该方案专门针对 .gguf 格式的模型文件，且容器逻辑依赖于识别 /opt/ml/model 下的首个文件，因此多模型动态加载或复杂模型路由架构可能不受支持。此外，基准测试数据包含网络延迟且并非服务等级协议（SLA）保证，实际生产环境中的延迟可能因网络状况、实例负载及区域差异而波动。CPU 与 GPU 构建在特定高难度任务上的预测差异也表明，严格依赖单一运行时一致性的应用需进行额外验证。该方案不适用于需要实时状态保持或复杂多模态输入的决策场景，因为 SemIf 适配器主要针对静态状态下的概率计算进行优化。
孤本观察
观察该方案的资源清理策略，发现其设计特意保留了 CodeBuild 项目、ECR 仓库及 S3 对象，仅删除 SageMaker 端点相关资源，这暗示 AWS 倾向于将构建工件作为可复用的基础设施资产进行管理，而非一次性消耗品。另外，GPU 实例池被明确定义为放置回退机制而非负载均衡器，这一架构细节揭示了该方案在弹性扩展逻辑上与常规微服务部署存在本质区别，开发者在运维监控时需据此调整预期。
常见问题
在 ml.g6e.xlarge GPU 实例上运行 Qwen3.5-4B Q4_K_M 模型，P50 和 P95 延迟分别是多少？
P50 延迟为 0.352 秒，P95 延迟为 0.599 秒。
在 ml.c6i.8xlarge CPU 实例上运行该模型，P95 延迟是多少？
P95 延迟为 19.291 秒。
GPU 端点在 P50 和 P95 延迟上比 CPU 实例快多少倍？
GPU 端点在 P50 延迟下比 CPU 快 4.9 倍，在 P95 延迟下比 CPU 快 32.2 倍。
部署时，容器如何识别模型文件？
容器自动识别 Amazon S3 中 model.tar.gz 包内的首个 .gguf 文件。
若需获取 logits 及模型状态，应使用哪个适配器进行扩展？
可通过集成 SemIf 适配器扩展 DLC，以返回包含 option_ids、条件概率、原始 logits、token 及提示元数据的结构化响应。