标题：谷歌开源 ML Drift，统一多平台 GPU 加速端侧 AI 推理并取代旧版 TFLite

一句话结论

谷歌发布开源跨平台 GPU 引擎 ML Drift，统一多架构硬件抽象并提升生成式 AI 推理性能。

关键要点

• ML Drift 采用 Apache 2.0 许可，支持 OpenGL ES、OpenCL、Metal 和 WebGPU 底层 API。
• 基于 Gemma 模型基准测试，其内存开销比 llama.cpp 和 MLX LM 低 12%。
• YouTube Shorts 的分割算法特效平均帧延迟最高降低 40%，Snapchat 模型延迟降低 30%。
• 谷歌停止更新旧版 TensorFlow Lite GPU 委托，建议开发者迁移至 LiteRT ML Drift。

背景与事实

ML Drift 是专为端侧 AI 和机器学习推理设计的开源、跨平台 GPU 计算引擎，也是驱动 LiteRT 的核心组件。该引擎将不同 GPU 硬件和底层 API 的复杂性抽离，旨在为可移植性和性能建立新基础，提供传统机器学习模型的稳定性与前沿生成式 AI 的峰值性能。由于开发者在创建设备端应用时，无法预知应用最终运行的硬件环境，且面临多种 GPU 架构、驱动版本和底层 API 的碎片化问题，ML Drift 通过提供统一的抽象层解决了这一核心痛点。

在技术实现上，相较于旧版 TFLite GPU 委托，ML Drift 引入了多项改进。它基于张量虚拟化实现统一着色器，支持可扩展自定义算子，并原生支持五维张量。同时，引擎针对 Arm、Intel 和高通技术公司的 GPU 进行了硬件专属优化，以充分利用现代 GPU 资源。ML Drift 通过 Dawn（Chromium 的 WebGPU 实现）将桌面端推理支持扩展到 Windows 和 Linux，并保留 macOS 上原生 Metal 后端支持。Dawn 提供的统一 API 模型可复用 WebGPU 的硬件抽象层，使开发者无需直接对接 DirectX、Vulkan 等平台专属图形 API。

在基准测试与生产验证方面，谷歌使用 Gemma 模型在开发者级工作站硬件上测试表明，ML Drift 的内存开销比其他框架（包括 llama.cpp 和 MLX LM）低 12%。该引擎已通过 Chrome、YouTube Shorts、Photos 和 Meet 等应用在数百万台设备上运行。具体性能提升数据如下：YouTube Shorts 在 Android 和 iOS 平台上基于分割算法的特效平均帧延迟最高降低 40%；谷歌 Photos 的计算摄影与图像分割流水线提速最高达 2 秒；Adobe Lightroom 和 Photoshop 的特定 AI 照片编辑功能性能提升最高达 30%；Snapchat 在 Android 上基于 ML 驱动的人脸和风格生成特效模型延迟降低 30%。

影响分析

对于中文开发者与从业者而言，ML Drift 的开源与全面支持 WebGPU 意味着跨平台端侧 AI 开发的门槛大幅降低。过去，针对 iOS、Android 和 Windows 分别编写和调优 GPU 推理代码是主要痛点，而 Dawn 提供的统一硬件抽象层使得一套代码即可部署多端。原生五维张量支持将空间模型和 Transformer 的部署复杂度转化为引擎内部处理，减少了应用层内存碎片化。然而，由于谷歌未提供与 Core ML 在最新 iPhone 上的直接对比数据，iOS 原生开发路径在资源受限场景下的最优解仍需开发者自行验证。

适用边界

该结论主要适用于具备中等以上算力（如 Arm、Intel、高通 GPU）的智能设备。ML Drift 依赖 WebGPU 和原生图形 API，不支持仅使用纯 CPU 推理的超低端设备。对于追求极致延迟且仅限 iOS 单一平台的特定场景，因缺乏与 Core ML 的对比数据，其优势边界不明确。

孤本观察

ML Drift 取代旧版 TFLite GPU 委托，标志着端侧推理引擎从单一框架绑定向独立计算原语的架构演进。其通过 Dawn 统一桌面端支持并保留 Metal 后端，反映了在跨平台一致性与原生性能之间寻求平衡的设计妥协。

来源：InfoQ 中文 AI