ReSET:面向延迟敏感 NVFP4 推理的
步骤感知温度缩放

速览:问题、方案与关键数字

大推理模型(LRM)靠生成超长思维链(CoT)提升准确率,代价是推理成本极高(单题平均生成约 1.2 万 token,可到 6.4 万)。NVFP4 是英伟达 Blackwell 上原生支持的 4-bit 微缩放浮点格式,标称峰值吞吐是 BF16 的约 4 倍、权重体积约 1/4,是"低延迟推理服务"最诱人的杠杆——但直接用,两道坎:

最有分量的三个数字

• 精度:AIME-120 上相对 NVFP4 基线最高 +2.6 分(Qwen3-32B +3.1、R1-Qwen-7B +4.2),在 5 个模型、3 个 benchmark 上的平均分全部超过 4 种 PTQ 基线(RTN / BRQ / 4-6 / MR-GPTQ)。
• 内核:M=1–8 时投影延迟比 vLLM-CUTLASS 快 1.57–2.49×;端到端(已含采样开销)在 Qwen3-32B 上比 BF16 快 1.97×。
• 成本:ReSET 采样器每生成一个 token 仅约 +100µs(Qwen3-32B),约为一个解码步的 1.5%;超参(w、$T_{\text{low}}$、$T_{\text{high}}$)都不敏感,$\tau_0$ 用 5 道题即可标定。

背景:为什么 NVFP4 适合但不好用

2.1 NVFP4 到底是什么格式

NVFP4 属于"微缩放 FP4"格式家族:元素本身只有 4-bit(E2M1),靠共享的缩放因子恢复动态范围。和同家族的 MXFP4 相比,NVFP4 的块更细(16 元素一块)、块缩放用 FP8(E4M3)并额外叠加 FP32 全局缩放——低精度 W4A4 下量级校准更稳,这决定了它是英伟达在 B200 上主推的格式:

元素都是 E2M1 的 FP4;MXFP4 块大(32)且块缩放为纯指数格式(E8M0),元数据更紧凑;NVFP4 块小(16)+ 全局 FP32 缩放,精度控制更细,代价是略微多一点的缩放开销。

关于量化精度,论文点了一个重要的反直觉事实:现有 NVFP4 PTQ 方法(旋转、通道缩放、动态块缩放等)全都在压权重量化误差,但 NVFP4 在组大小 16 下权重误差本来就小,这些方法与推理准确率并不干净地相关——与其继续优化误差,不如直接看解码过程本身。这正是 ReSET 的出发点。

2.2 延迟崩塌:4× 优势为什么在最需要的地方消失

推理模型的成本维度是每 token 解码延迟而非聚合吞吐:R1 在 AIME 上平均生成约 12K token(最多 64K),TPOT 直接卡 SLO;再加上 KV-cache 压力、prefill 与 decode 互相干扰、生成停顿,SLO 能容忍的解码 batch 只有 M≤8(B200 上)。而 NVFP4 的 4× 峰值吞吐要靠 Blackwell 的 tcgen05.mma 指令兑现,该指令的 tile 沿 token 维固定为 M=128。下图是这两件事的实证(点击图片可看 300 DPI 原图):

💡 点击任意图片可查看原始高清大图,再次点击或按 Esc 关闭。

观察:量化错误到底错在哪

作者用 R1-Qwen-14B 在 90 道 AIME(2022–2024)题上生成的 150 万 token 做分析。第一步先把 token 按熵分类:低熵 = 数字、运算符这类"局部没得选"的符号决策;高熵 = "Alternatively" 这类语义灵活的分支点。下图(a)(b)两列就是这两类 token 的典型面孔,而(c)(d)(e)揭示了量化真正做错事的方式:

3.1 一个直觉修法:低熵位置降温——但只救回一半

既然错在低熵符号 token 的偶发误采样,最直接的办法就是对这些位置"降温",把分布压尖。用固定阈值 $\tau_0$(取全体 token 熵的 80 分位,约 0.6)把 token 分成两组:低熵组用低温 $T_{\text{low}}$,高熵组用 $T_{\text{high}}$(公式(1))。结果就是上图 (f) 的曲线:

降 $T_{\text{low}}$(往左看曲线)稳定带来收益,但只能部分恢复准确率;而改 $T_{\text{high}}$ 收益很有限。这说明"低熵 token"这个干预目标找对了,但token 级熵不是正确的控制信号——用固定阈值看单个 token 的熵,会漏判。

3.2 关键发现:token 级熵被所在步骤的不确定性主导

为什么会漏判?作者发现粒度错位:现有熵感知解码在 token 级考虑不确定性,但推理中真正波动的不确定性活在 步骤级。所谓"推理步骤",指一段连贯的中间推理单元(实现上用双换行符 \n\n 切分),步骤熵 = 步内 token 熵的平均。下图是全篇最重要的诊断:

3.3 量化的双向熵效应:既"膨胀"又"塌缩"

再往下挖一层,量化对熵的影响其实是双方向的(附录 B.2 的专门分析):低熵符号 token 的熵被系统性抬高(高不确定步骤里抬得更多)——这就是采样错误变多的直接原因;而极高熵 token($H_t$≥2.0)在高不确定步骤里熵反而下降,典型如 "Alternatively" 这类话语连接词的概率质量被量化压到更少的几个续写上,分支多样性被吃掉。这两个效应合起来,给后面的温度策略提供了完整依据:$T_{\text{low}}$ 压掉"假不确定性",$T_{\text{high}}$ 还回"被压缩的多样性":

方法:ReSET 的温度策略

ReSET = Reasoning Step Entropy-based Temperature scaling,两个组件:步骤感知阈值(SAT,§4.1)与在线步骤熵估计器(HSE,§4.2)。下面用原文 Figure 4 把整个判定流程走一遍:

4.1 步骤感知阈值(Step-aware Threshold, SAT)

固定阈值只在一种情况下失手:高不确定步骤。因此把阈值改为"全局运行均值 $\bar{H}$ 对比 在线步骤熵估计 $\hat{H}_{\text{step}}(t)$"的择一选择:

• 笃定步骤:退回全局阈值 $\tau_0$——"结构化的低熵符号"继续按全局标准识别。
• 不确定步骤:$\tau_t$ = $\hat{H}_{\text{step}}(t)$,规则变成步骤相对:只要某 token 的熵低于"本步骤典型 token"的熵就降温,不管全局阈值划在哪(Figure 4a 里的 "7" 就是例子)。
• 不引入任何新的可扫超参数:$\tau_t$ 完全由已在跟踪的量决定。

为什么笃定步骤不能也走"步骤相对"路线?因为在笃定步骤里 $\hat{H}_{\text{step}}$ 退化得极小,相对阈值会反过来误伤正常符号 token——论文在附录里专门用下图说明了这个"退回分支"的必要性:

4.2 在线步骤熵估计(Online Step-Entropy Estimation, HSE)

SAT 在每个解码位置都需要 $\hat{H}_{\text{step}}(t)$,但第 3 节的离线定义要平均"还没生成的 token",不满足自回归的因果性。难点在于步内有两种相反的偏差-方差权衡:步中后段,步内运行平均偏差最低(而且图 4b 显示它稳定优于 EMA——说明"步边界"比"时间近因"信息量大);步开头 w 个位置,样本太少且常是"步开场"话语 token,用最近 w 个 token 的滑动窗口初始化,容忍一点跨步偏差换方差。混合估计器:

图 4b 的横轴正是这几条曲线的对比:窗口初始化(Init)在步前段显著降低方差,步内平均(Causal)在后期偏差最低,EMA 两者都不占优。

4.3 温度与校准

• $T_{\text{base}}$=0.6(模型推荐),$T_{\text{low}}$ < 0.6 < $T_{\text{high}}$=1.0。$T_{\text{high}}$ 的必要性来自第 3.3 节的熵塌缩(Figure 8):量化压缩了不确定步骤里高熵 token 的多样性,需要高于默认的温度还回去;经验上 $T_{\text{high}}$=1.0 一致最好(实验节 Table 10)。
• $T_{\text{low}}$ 在留出校准集上按(模型,任务)选择(实验节 Table 13);$\tau_0$ 取校准集 token 熵的 80 分位——而且这个阈值只需要 5 道 NuminaMath 题就能标定,各模型取值如下:

$\tau_0$ ≈ 0.5–0.65:Qwen3 系列的熵分位略低,与模型自身输出习惯相关;部署时无需任务级数据即可标定。

每 token 的计算量:一次熵归约 + 两次标量更新($\hat{H}_{\text{step}}$、$\bar{H}$)+ 一次分支——相比完整解码步可忽略,具体开销计入第 6 节的端到端测量。

系统侧:CUDA-core 小 M 解码内核

5.1 为什么 Tensor Core 在小 M 下低效(配 Figure 5a)

第 2.2 节已经看到<1% 的利用率,机制在这里:Blackwell 的 NVFP4 GEMM 路径(vLLM / CUTLASS / MR-GPTQ)都走 tcgen05.mma,tile 沿 token 维固定 M=128。看 figure 5a:逻辑激活 X∈ℝ^M×K 无论 M 是多少都要被填充(pad)成 128×K,只有 M 行输出是真正有用的——M=8 时 6.25% 的 tile 是有效行,其余全是"浪费输出"。吞吐导向的框架靠上千的大 batch 把填充摊薄,但 SLO 可行域里优势归零。

CUDA-core 路径可以在线程级灵活暴露 M,不需要固定 tile——但现有框架并没有 NVFP4 的 CUDA-core 实现,这个空白正是本文要填的。要攻克的难点有三个:(C1) 复用流式加载的权重瓦片——所有 token 共享同一个 W,逐个 token 处理会把同一块权重反复从 HBM 拉取;(C2) 足够的并行线程与独立累加链——朴素映射会让 half2 FMA 沿 K 串成一条依赖链,小 M 下 CUDA core 空转;(C3) FP4 解包 + 共享缩放反量化既不能落地到中间 buffer,也不能在内层 K 循环里插同步。

5.2 三个设计选择如何逐一解决 C1–C3

• 多 token CTA 融合(C1):把多个活跃解码 token 合进同一个线程块,权重瓦片只从 HBM 读一次,在 CTA 内被多个 token 的点积复用;又不把 M 撑到 128。对"小但不为 1"的 batch(如 M=4/8)尤其有用。
• 多累加器线程(C2):每个线程拥有两条权重行、两条独立累加链,调度器交错两条 hfma2 流,隐藏转换/缩放/FMA 延迟——权衡点是 ILP 与寄存器压力的平衡。
• 纯寄存器反量化(C3):解包出的 FP16 对、缩放、部分累加全留寄存器,直接进 hfma2;跨 K 瓦片做软件流水(载入、转换、缩放、累加重叠)。不写共享内存、无同步,正好躲过小 M 场景"固定开销摊不薄"的坑。

运行时调度:M=1–2 恒用 CUDA-core 核;M≥128 走自研 Tensor-Core GEMM;中间形状按 (M, shape) 实测延迟二选一。因为 vLLM 按 batch 大小抓 CUDA graph,选择在抓图时固定,回放零分支开销。

5.3 两个关键量化收益

旋转融合激活量化(Q+R)在 M=1 时每层要 4.55–5.08µs,约为普通激活量化(Q)的 2.3 倍;本文流水线吃非交错缩放布局,激活量化保持在 1.65–1.81µs,投影主体 GEMM→GEMV 后延迟砍半以上。

第一,量化开销是被减少而不是被增加。MR-GPTQ 这类旋转方案的代价是解码步里每层多花 2.3× 的激活量化时间;ReSET 体系里 CUDA-core 核吃非交错缩放布局、ReSET 采样器本身又不做旋转,所以从系统层面直接省掉了这笔开销(Table 3)。第二,M=1 的投影延迟全面优于 vLLM(Table 4,见下节)。设计选择的贡献量在附录 C 里做了消融——C1(CTA 融合)随 M 增大越来越重要,C2(多累加器)在 M=1 也有效:

C1 在 M=8 时把 70.9µs 拉回 58.3µs(权重瓦片复用);C2 在 M=1 时也有 1.8µs 的收益(ILP);两者都去掉则 M=8 慢 1.31×。C3 因会改变内核流水结构(共享内存分配、同步位置、流水深度)而不做单独消融。

实验:精度与延迟的完整证据

6.1 设置

• 模型:5 个推理模型——R1-Distill-Qwen-7B/14B、Qwen3-8B/14B/32B,均从公开 BF16 权重用 NVIDIA ModelOpt 量化为真 NVFP4 W4A4(E2M1 元素、E4M3 块缩放、组大小 16),KV cache 保持 BF16;所有基线共享同一权重格式与路径、同硬件逐项对比。
• 评测:AIME-120(AIME 2022–2025 合并)、GPQA-Diamond、LiveCodeBench;8 个随机种子平均;top-p=0.95、max_tokens=32K。
• 基线:RTN、BRQ(块旋转)、4/6(Four-Over-Six,自适应块缩放)、MR-GPTQ,均按默认 T=0.6 解码;ReSET 加在 RTN 之上。

6.2 精度:ReSET 主导 PTQ 前沿(配 Table 1)

主结果是下表:三个 benchmark × 五种方法 × 五个模型,ReSET 在每一个 benchmark 的平均分上都排第一,且是唯一在每个任务上都超过 RTN 基线的方法:

几个值得注意的细节:① 先进 PTQ(BRQ、4/6、MR-GPTQ)在大模型上并不稳定超过朴素 RTN(如 AIME-120 上 MR-GPTQ 只在 Qwen3 系列略好、R1 系列反而不如 RTN),佐证了"NVFP4 下再压权重误差收益甚微"的判断;② ReSET 的最大增益在 AIME-120:AIME 平均 +2.6(Qwen3-32B +3.1、R1-Qwen-7B +4.2),而且 Qwen3-32B 的 77.5 反超了 BF16 基线(75.8)——温度策略不仅补偿量化损失,还顺带改善了采样;③ GPQA / LiveCodeBench 的绝对提升相对温和(平均 +1.3 / +1.0),但仍是全基线最优。

6.3 打败 token 级启发式(配 Table 2、Table 5、Table 6)

先看阈值机制本身的贡献。在相同解码设置下对比三种阈值策略:固定阈值(公式 1)、滑动窗口阈值、ReSET——差异只在"熵阈值怎么定":

固定阈值与滑动窗口对 NVFP4 的提升不稳定(Fixed Threshold 在 Qwen3-14B 上反而 -0.1),ReSET 在每个模型上都是最优——验证"步骤相对熵"才是有效信号。

再看"截断式采样"是否也能替代。有人会问:直接把 top-p 或 min-p 参数扫一遍不就行了?下表是 T=0.6 固定下扫描的结果——top-p 平均只从 59.9 微动到 60.3 封顶,min-p 系列全面低于基线(58.2–59.4):

ReSET 把表 5 的 T=0.6 固定条件放开为自适应温度,全面超过所有截断组合——证明问题在"熵控制"而非"分布截断"。

最后验证"选择性降温"而非"一刀切"。既然低不确定步骤也要管,那对这些步骤里的所有 token 一律用 $T_{\text{low}}$ 会不会更好?答案是否定的(Table 6):

均匀降温(60.6)比 NVFP4 基线(59.9)只好 0.7 分,而选择性降温(62.5)好 2.6 分:低不确定步骤里并非所有 token 都严格确定,一刀切会压掉合法备选。

6.4 延迟:从内核到端到端(配 Table 4、Figure 6)

内核级。先是 M=1 的逐投影对比(Table 4):12 种投影形状全部快于 vLLM-CUTLASS,1.57–2.49×,最大增益出现在 Qwen3-8B 的 down-projection(N=4096, K=12288)。K 越大的层(如 Gate-Up/Down)加速越明显,因为它们更受"填充浪费 + 权重流式加载"的影响:

端到端。下面这张图把内核收益放进完整服务流看:B200 上、512 token 输入、输出最长 32K,对比 BF16、vLLM-CUTLASS、vLLM-FlashInfer 与本文方案(Batch=1 和 8):

6.5 超参鲁棒性(配 Table 9/10/13)

最后是三个超参的敏感性证据,结论一句话:都不敏感。窗口大小 w 从 16 到 128,平均分只波动 1.1 分(w=32 最优,过大窗口会糊掉步骤局部统计);$T_{\text{low}}$ 在 0.1–0.4 之间只波动 0.4 分;$T_{\text{high}}$ 则是"越大越好、到 1.0 封顶"的一致趋势——这正好呼应熵塌缩分析:量化压缩了多少多样性,就用升高的 $T_{\text{high}}$ 还回去多少:

三张表合计:默认配置 (w=32, $T_{\text{low}}$=0.1, $T_{\text{high}}$=1.0) 附近性能平坦,部署无需精细调参。

补充分析:困惑度、与 GPTQ 叠加、小/大 M 内核

7.1 困惑度视角:为什么再压权重误差没意义(配 Table 11)

如果 NVFP4 的采样问题如此突出,那为什么常见 PTQ 手段在推理任务上帮不上忙?WikiText-2 困惑度给出一个侧面答案:RTN 与 4/6、BRQ、MR-GPTQ 的困惑度差距在 0.1–1.0 之间,全部远小于 BF16↔RTN 的量化鸿沟(R1-7B 上 25.07→26.23)。NVFP4 下权重误差已经小到"再压也没意义"的地步——推理精度问题的根源在解码采样,不在权重重构:

7.2 ReSET 与 GPTQ 叠加吗(配 Table 12)

有人会想:ReSET 加在 RTN 上就能追上先进 PTQ,那把 ReSET 直接叠到 GPTQ 上会不会更强?结论是不会(Table 12):除了 LiveCodeBench 平均 +1.0 之外,其余基本打平或略降(如 AIME-120:62.5 → 61.6)。作者的猜测:GPTQ 的纠错作用是"压低低熵 token 的非 top-1 概率",而 ReSET 的温度机制已经在做同一件事,两者功能重叠、收益互相吸收——这也再次说明 ReSET 是 PTQ 之上"便宜的最后一公里",不需要再叠昂贵的重建优化:

7.3 小 M 与 M=128 的内核全景(配 Table 15/16)

正文只报了 M=1,这里补全另外两个运行形态(附录 C):M=4/8 时 CUDA-core 核仍全面领先(1.19–1.66×,24 个组合全部更快);M=128(Tensor-Core tile 被充分占用)时,自研 GEMM 相对 vLLM-CUTLASS 仍有 1.00–1.34× 的优势。换句话说,整个 M 轴的调度图谱都是正的:

M=128 是 Tensor-Core 主场:本文 GEMM 依然不差于 vLLM-CUTLASS,唯一打平的是 Qwen3-32B gate/up(1.00×);整体 1.12–1.34×。

局限与点评

作者自陈的局限(附录 D)

• 熵动力学可能依赖模型训练方式(RL、SFT、蒸馏配方),最优阈值/温度可能随之变化。
• 推理失败并不只有符号采样错误一个原因:长程一致性、话语规划、中间语义表示同样可能被量化影响。
• 只验证了 Blackwell + NVFP4 + 小 batch 延迟场景;大 batch 吞吐场景、其他硬件、更激进的 MXFP4 格式(量化误差更大、熵动力学不同)尚未探索。

可取之处

• 问题选得好、讲得透。"小 batch 解码时 NVFP4 峰值吞吐兑不了现"(Fig 1)戳中了推理服务最实际的痛点:大多数论文在吞吐模式下自嗨,这篇明确把目标锁定在 SLO 可行域。
• 从数据出发的完整论证链。150 万 token 分析 → 低熵符号 token 是重灾区 → token 级信号被步骤不确定性污染 → 步骤相对阈值。每一步都有图有数据(Fig 2/3/8),不是拍脑袋调参。
• 零成本干预。不动权重、不重训、不加旋转,解码期每 token 一次标量比较 + 两次更新,~1.5% 开销换 2-4 分,对部署方几乎白捡。
• 算法 + 系统一体化,口径诚实。温度策略与专用内核是一个完整方案的两半;端到端数字把采样开销计入,不玩文字游戏。
• 超参鲁棒性做得扎实。w、$T_{\text{low}}$、$T_{\text{high}}$、$\tau_0$ 标定全部给了敏感性分析,强调"不用任务级调参"。

值得商榷之处

• 对比公平性疑点。所有 PTQ 基线(BRQ、4/6、MR-GPTQ)都按 T=0.6 解码,而 ReSET 用 $T_{\text{high}}$=1.0——"多样性恢复"到底来自"温度调高"本身还是"步骤感知选择",二者被混在一起;Table 10 的 0.6→1.0 收益其实部分暴露了这一点。一个 T=1.0 的等温度基线会让结论更干净。
• $T_{\text{low}}$ 在(模型, 任务)上选择。论文声称"无需任务级调参",但 $T_{\text{low}}$ 明说是 per-(model, task) 校准——AIME-120 上选的值直接用于 GPQA/LiveCodeBench 报告,存在一定信息泄漏风险。
• 步骤定义的简朴性。用 \n\n 切步是工程妥协:格式敏感,也没有利用语义边界;更稳的步骤分割可能是更好的方向。
• "首个 CUDA-core NVFP4 GEMV"的措辞。论文自谦为"据我们所知",行业同类闭源实现并不少,贡献边界建议读者自行判断。

术语速查

阅读中遇到缩写,可随时回到这里;正文里的缩写也都可以悬停查看释义。