谷歌与 Meta 开源 TorchTPU，TPU 正式成为 PyTorch 原生推理硬件

一句话结论

谷歌和 Meta 开源 TorchTPU 后端，使 TPU 与 GPU 并列为 PyTorch 原生设备，显著降低大规模智能体工作负载的跨芯片迁移成本。

关键要点

• TorchTPU 取代 PyTorch/XLA，无需侵入式源码修改，只需将 model.to("cuda") 改为 model.to("tpu") 即可运行。
• 已开源四个代码库：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU、TorchTitan，支持推理、大规模训练和混合专家模型。
• 在 8192 个 TPU v7x 芯片上运行 Qwen3 235B 混合专家模型，模型 FLOPs 利用率达 28%，集群扩展近线性。
• 亚马逊云科技同期发布 TorchNeuron，支持 Trainium 芯片，通过 .to('neuron') 接入 PyTorch，但尚不支持动态输入形状。
• 根据 OpenRouter 数据，2026 年 2 月 6 日后智能体 token 消耗量增长 14 倍，人类消耗量增长 2.8 倍，推理已取代训练成为数据中心最大工作负载。

背景与事实

2026 年 10 月 21 日，在圣何塞举办的 PyTorch 北美大会上，谷歌云 Core ML/AI 工程副总裁 Bill Jia 与 Meta 软件工程师 Zongwei Zhou 联合发布 TorchTPU，这是谷歌张量处理单元（TPU）的原生 PyTorch 后端。Meta 于 2016 年创建了 PyTorch，此次与谷歌合作旨在让 TPU 成为 PyTorch 的第一类原生目标，以满足生产环境对性能、可靠性和可维护性的需求。Jana van Greunen（Meta PyTorch 工程总监）指出，Meta 需要硬件多样性来推动前沿 AI 发展，不能被单一架构束缚。

TorchTPU 集成了 PyTorch 底层调度器，Hugging Face 模型可开箱即用，vLLM 和 SGLang 推理引擎原生支持，TorchTitan 覆盖密集、混合专家和扩散模型的大规模训练。Ray 和 llm-d 可在 Kubernetes 多主机间扩展 TPU 工作负载。谷歌展示了超过 8000 个 TPU 芯片时的近线性扩展能力，单芯片吞吐量基本保持恒定。

同期，亚马逊云科技于 10 月 20 日宣布公开测试 Trainium 芯片的原生 PyTorch 后端 TorchNeuron，通过相同的 PrivateUse1 扩展点注册。该版本目前不支持动态输入形状，跳过了约 22000 个 PyTorch 测试用例。PyTorch 基金会执行董事 Mark Collier 强调社区目标是开发开源软件，使模型能在任何云端芯片上运行并连接任何智能体。DeepSeek Flash 模型在 37 天内将成本降低 60%，Kimi K3 在不到 33 天内于相同硬件上提升 68% 运行速度。

影响分析

这是分析判断：中文开发者可以更低成本地将现有 PyTorch 模型部署到 TPU，减少硬件绑定风险，但调优工作仍需投入。推理引擎 vLLM 和 SGLang 的原生支持意味着中文团队无需重写推理栈即可利用 TPU 的集群扩展优势，适合高 token 需求的智能体场景。

适用边界

该结论不适用于需要动态输入形状且依赖 TorchNeuron 的场景，也不适用于仍依赖 Nvidia CUDA 专有优化层的存量系统。TorchTPU 的"开箱即用"指模型能运行，但未调优时无法达到 TPU 峰值性能，模型结构、分片和运算可能更适合 GPU 架构。

孤本观察

这是编辑判断：TorchTPU 与 TorchNeuron 同期发布且共用 PrivateUse1 扩展点，表明 PyTorch 正在成为异构硬件的通用抽象层，但供应商仍在优化层和供应层保留控制力。

来源：InfoQ 中文 AI