激活探针所需合成数据量由概念覆盖范围决定，而非任务难度

一句话结论

激活探针所需合成数据量取决于概念覆盖范围而非难度，高风险类80样本即可接近饱和。

关键要点

• 高风险场景与有害回复类探针在 Gemma-3-27B-IT 上仅需约80个合成样本即可达到性能平台期的百分之九十九以上。
• 指令遵循类探针所需样本量是前两类数倍，且三种类型在小模型与真实开发集样本上排序保持一致。
• 单一概念在14个独立评估分布中，每种类型自身样本的中位半增益尺寸为7至11个。
• 概念类型与评估分布共同解释了半增益尺寸42%至45%的方差，生成器、探针模型与提示词细节合计不足10%。
• 高风险类中单一类型样本几乎完全覆盖其他类型，而指令遵循类各类型间几乎无覆盖关系，广度策略收益显著不同。

背景与事实

这项研究于2026年10月6日提交至arXiv计算机科学机器学习领域，聚焦于监控已部署语言模型的激活探针训练中的合成数据需求问题。研究团队在10至590个合成样本区间内绘制学习曲线，考察三类监控概念——高风险场景、对个人的有害回复、未遵循用户指令的回复——在14个独立评估分布与4个探针模型上的表现。实验变量包括生成器语言模型种类与提示词详细程度。

研究将概念所需的样本深度定义为拟合曲线的半增益尺寸，即获得一半最终增益所需的样本数量。数据显示，高风险场景与有害回复类探针在 Gemma-3-27B-IT 上从80个样本起已处于平台期几个百分点之内，而指令遵循类探针需要数倍于此的样本量才能收敛。该排序关系在三个更小的探针模型以及真实开发集样本上均保持成立。方差分析表明，概念类型与评估分布解释了半增益尺寸42%至45%的变化，而生成器、探针模型与提示词细节合计解释不足10%。

进一步机制分析发现，决定半增益尺寸大小的核心因素是覆盖范围而非单类难度。每个评估分布中每种类型自身样本的中位半增益尺寸在三种概念下均为7至11个。差异来源于单一类型样本向概念内其他类型的迁移程度：高风险类中迁移近乎完全，有害回复类次之，指令遵循类迁移最弱，这一梯度解释了生成样本与真实样本间概念间的大部分差距。因此广度策略的回报因概念而异，指令遵循类因类型间互不覆盖而必须采用多类型策略，高风险类因单类型可覆盖其余而多类型投入近乎冗余。研究团队已公开发布评估套件、开发集与生成数据集。

影响分析

对中文开发者而言，这意味着监控探针的数据预算应按概念类别差异化配置，而非统一按样本数量或任务难度分配。若团队正部署指令遵循类监控探针，需预留远高于高风险或有害回复类的合成数据预算，且不能依赖单一提示词变体覆盖多种指令场景，必须生成多类型样本。对高风险与有害回复类监控，80个左右的高质量合成样本即可达到接近最优的探针性能，大幅降低数据生成成本。这一结论为监控探针的持续运营提供了可量化的最小数据基准，使团队能够以更低成本维持探针准确性。

适用边界

上述结论基于 Gemma-3-27B-IT 及三个较小探针模型、14个独立评估分布与四类生成器模型验证，未覆盖更大规模或架构不同的探针模型。指令遵循类中类型间几乎无迁移的结论依赖于当前评估分布的构成，若业务场景引入全新的指令类型，覆盖假设可能不成立。半增益尺寸7至11的统计量来源于特定合成数据生成器与提示词组合，更换生成策略后数值可能偏移。

孤本观察

本研究将数据需求分解为覆盖范围与迁移程度两个正交维度，使数据预算分配从经验判断转为可计算指标，是监控探针工程化部署中少见的量化基准框架。

来源：arXiv cs.LG