AI 推理芯片厂商 d-Matrix 今日宣布,将使用 NVLink Fusion 将其下一代 Raptor XPU 连接到 NVIDIA 的 AI 基础设施平台,由此加入不断壮大的生态系统合作伙伴行列。
通过将 Raptor 接入 NVIDIA NVLink 纵向扩展(scale-up)网络与 Spectrum-X 横向扩展(scale-out)网络、NVIDIA MGX 机架架构以及更广泛的 NVIDIA AI 平台,NVLink Fusion 为 d-Matrix 提供了一条从定制芯片走向大规模部署的加速且风险更低的路径。
“推理需求正在飙升,但资本、时间和能源依然有限,”d-Matrix 联合创始人兼首席执行官 Sid Sheth 在昨日的新闻发布会上表示。“借助 NVLink Fusion 和 MGX,我们可以把 Raptor XPU 集成到已广泛部署的液冷架构中,为客户提供更快、风险更低的路径,以部署并扩展超低延迟推理。”
NVIDIA AI 平台在纵向上高度集成,在横向上保持开放。NVLink Fusion 将这种开放性延伸到 XPU 和 CPU,使芯片公司能够专注于自身的处理器创新,同时利用 NVIDIA 基础设施以 AI 工厂规模进行部署。
从定制芯片到机架级部署
打造一颗 XPU 只是第一步。要以 AI 工厂规模部署它,需要一套完整的平台,涵盖网络、机架架构、供电、散热、软件以及经过验证的供应链。其中的每一个环节——采购芯片、集成高速接口、验证纵向扩展网络方案、设计与认证机架架构——都会增加时间、成本和风险。
NVLink Fusion 让芯片创新者能够直接接入 NVIDIA 经过验证的平台。这项高带宽、低延迟技术可将定制 XPU 和 CPU 连接到 NVIDIA 技术栈。
通过采用 NVLink Fusion,d-Matrix 可以利用 NVIDIA MGX 生态系统中成熟且经过验证的机架设计、供应链以及供电和散热基础设施。通过统一采用通用机架,数据中心可以一次建成并同时支持 GPU、CPU 和 XPU,而无需为每种处理器类型单独设计机架架构。
NVLink Fusion 将 d-Matrix XPU 集成进 AI 工厂
利用 NVIDIA NVLink,d-Matrix 计划将其 XPU 连接在单一的高带宽、低延迟纵向扩展域中。其机架还可以与 NVIDIA Vera Rubin NVL72 等基于 NVIDIA GPU 的系统协同工作,用于分离式推理(disaggregated inference)。
d-Matrix 还计划集成 NVIDIA Vera CPU、NVIDIA ConnectX-9 SuperNIC、NVIDIA BlueField-4 DPU 以及 NVIDIA Spectrum-X 以太网网络。结合 NVLink 与 MGX,这些技术为 d-Matrix 提供了经过验证的基础,用以部署专用推理