原生 NVFP4 强化学习突破：miniTE 框架实现大模型训练加速且精度对标 BF16

一句话结论

miniTE 框架通过跨引擎数值对齐技术，解决原生低比特强化学习中的执行间隙问题，在保持 BF16 级别精度的同时显著提升吞吐量。

关键要点

提出轻量级框架 miniTE，结合执行诊断、跨引擎数值对齐及高效的 W4A4（4-bit 权重和激活）GEMM 计算。
实验证明，仅匹配模型权重和数值格式不足以确保持续一致的策略评估，需重视跨引擎数值执行。
在单节点 NVIDIA B300 GPU 上，优化后的学习者达到 33,540 tokens/s 的吞吐量。
吞吐量分别比 BF16 和原生 TE NVFP4 高 1.39 倍和 1.47 倍。
该框架已在 Qwen3-30B-A3B 模型上进行长时程强化学习实验，验证了稳定训练和接近 BF16 的基准表现。

背景与事实

强化学习（RL）是大语言模型（LLM）对齐与能力拓展的关键技术，而原生 NVFP4（NVIDIA FP4）格式承诺能进一步加速这一过程。然而，在分离的训练引擎和采样引擎中实现稳定的学习一直面临挑战。传统方法认为只要匹配模型权重和数值格式即可保证一致性，但最新研究表明这种做法并不足够，会导致策略评估不一致，进而影响学习稳定性。这一现象凸显了跨引擎数值执行的重要性，即不仅需要数值格式相同，还需要在执行层面保证数值计算的一致性。

为应对这一挑战，研究团队开发了 miniTE 框架。该框架包含三个核心模块：执行诊断工具、跨引擎数值对齐机制以及高效的 W4A4 GEMM 计算内核。W4A4 指的是权重和激活均采用 4-bit 精度，这是 NVIDIA 新一代架构支持的原生低比特计算模式。miniTE 在不修改强化学习目标函数的前提下，提升了数值执行的一致性，同时降低了实现开销，使开发者能够实际享受原生低比特计算带来的性能红利。

实验在 Qwen3-30B-A3B 模型上进行，这是一个具有 300 亿参数、激活参数为 30 亿的混合专家（MoE）架构模型。长时程强化学习实验表明，使用 miniTE 的训练过程稳定，且基准测试表现接近 BF16（Brain Floating 16，一种高精度的浮点格式）。具体性能数据来自单节点 NVIDIA B300 GPU 环境，优化后的学习者在完整学习者更新阶段达到 33,540 tokens/s 的吞吐量。这一速度相比 BF16 有 1.39 倍的提升，相比之前基于 Transformer Engine（TE）的 NVFP4 实现有 1.47 倍的提升。研究团队已发布了该框架、核心计算内核、诊断工具以及完整的训练配置文件，旨在降低原生低比特强化学习的入门门槛。

影响分析

对于中文开发者而言，这一成果意味着在不改变现有强化学习算法逻辑的情况下，可以显著降低大模型对齐阶段的计算成本和时间。过去，为了追求训练稳定性，开发者往往被迫使用 BF16 或 FP16 等高精度格式，导致推理和训练速度受限。miniTE 证明了通过精细的数值执行对齐，4-bit 精度可以稳定地用于长时程训练，这直接降低了硬件门槛和电费成本。此外，提供的完整开源配置使得国内团队能够快速复现和集成，加速从研究到实际部署的转化。对于使用 NVIDIA B300 及以上架构硬件的团队，可以直接获得吞吐量红利，缩短模型迭代周期。

适用边界

该结论仅适用于支持原生 NVFP4 和 W4A4 GEMM 计算的 NVIDIA 新一代 GPU（如 B300）架构。对于仅支持 FP16/BF16 或旧版 FP8 的硬件（如 A100、H100），无法直接应用该加速方案，因为底层计算内核不可用。此外，本文实验基于 Qwen3-30B-A3B 这一特定 MoE 架构，其结论推广到其他稠密架构或不同规模模型时，仍需重新验证数值对齐的有效性。在非强化学习场景（如纯监督微调）中，虽然 W4A4 计算加速可能有效，但本文重点解决的“跨引擎数值一致性”问题在训练与推理完全分离的场景中可能不如强化学习场景中那么关键。