新研究证实语言模型“遗忘”事实后重学速度受历史学习轨迹影响

一句话结论

研究发现曾成功学习特定事实绑定关系的大模型，在后续微调中恢复该知识的速度显著快于仅接触实体未学习关系的对照组，表明当前行为准确率低估了历史经验的影响。

关键要点

• 基于 Qwen2.5-1.5B 模型，实验设计包含 LEARNED（已学习正确绑定）、CONTROL（匹配曝光未学习绑定）与 WRONG（学习竞争性错误绑定）三个匹配且均衡的对照组。
• 在经历相同的无排练持续微调流后，LEARNED 组在预设的部分遗忘检查点上重获目标知识的速度快于 CONTROL 组，而 WRONG 组相对于 CONTROL 组未表现出正向优势。
• 调整测量到的再学习前行为后，LEARNED 组的重学优势依然保持为正，说明该加速效应并非由再学习前的行为差异完全解释。
• 使用未配对的从未见过池进行的次级描述性转换分析显示，先前的学习经验使恢复目标知识所需的优化器更新次数减少约 18%。
• 研究表明仅以当前输出准确率评估测试时持续学习代理会忽略先前经验对后续参数更新的塑造作用，即“知识可及性”与“知识丢失”存在差异。

背景与事实

本项研究发表于 2026 年 10 月 2 日，隶属计算机科学领域的机器学习方向，探讨测试时持续学习中的再学习节省效应。在传统评估范式下，参数更新的测试时持续学习代理通常通过当前输出准确率来衡量性能。然而，当某个事实在语言模型中变得难以提取时，究竟意味着模型已完全丢失该知识，还是仅使其可及性降低？研究团队提出，通过当前行为准确率评估可能无法捕捉先前经验如何塑造后续更新过程。为了验证这一假设，研究聚焦于“学习特定事实绑定是否会产生超越对其实体、答案词汇、格式或查询槽熟悉度的后续再学习优势”。

实验在 Qwen2.5-1.5B 模型上进行，采用了三个匹配且反平衡的历史数据组。LEARNED 组接收正确的绑定关系；CONTROL 组接收匹配的曝光量但不包含正确绑定；WRONG 组接收在同一槽位中具有竞争关系的、符合关系逻辑的错误答案。三组随后经历完全相同的、无排练的持续微调流。评估指标设定在部分遗忘的预设检查点上。结果显示，LEARNED 组重获目标知识的速度明显快于 CONTROL 组。作为槽位匹配的佐证，WRONG 组与 LEARNED 组的比较显示 WRONG 组相对于 CONTROL 组没有正向优势，但需注意可能存在竞争者干扰。进一步分析表明，在调整了测量到的再学习前行为后，LEARNED 组的相对优势仍然显著为正。此外，研究采用未配对的从未见过池进行次级描述性转换，量化了先前学习对恢复效率的具体贡献，数据表明优化器更新次数减少了约 18%。代码已通过公开链接发布，供社区复现与验证。

影响分析

对于中文开发者与大模型从业者而言，这项研究提供了重要的评估维度补充。目前业界普遍依赖固定测试集准确率来衡量模型在持续学习场景下的表现，但本分析判断认为，这种单一指标可能会误导开发者对模型知识保持能力的认知。如果模型在测试时持续学习中表现出暂时的准确率下降，开发者可能会误判模型已“遗忘”相关领域知识，从而触发不必要的大规模重新训练或错误的数据清洗流程。实际上，若模型历史上成功学习过特定事实绑定，其在后续微调中的恢复效率可能远高于仅有过曝光但未建立绑定的模型。这意味着在构建持续学习系统时，历史学习轨迹本身成为了一个隐性的性能加速器。从业者应关注“重学速度”而非仅关注“当前精度”，特别是在多轮迭代更新或知识密集型应用场景中，保留历史学习痕迹可能在工程上带来约 18% 的优化器更新节省，这直接降低了计算资源消耗与时间成本。

适用边界

该结论主要基于 Qwen2.5-1.5B 这一特定参数量级的模型，以及针对事实绑定关系的特定实验设计，不能直接推广至所有规模或所有类型的知识学习。WRONG 组的结果受限于竞争者干扰的可能性，因此关于错误学习是否会带来负优势或中性优势的结论需谨慎解读。此外，18% 的更新节省是基于未配对从未见过池的描述性统计，缺乏配对设计的严格因果推断支持，且在包含排练（rehearsal）的持续学习流程中，由于回放机制本身会强化记忆，该节省效应可能被稀释或改变。该结论不适用于非事实绑定类的技能学习或逻辑推理任务，也不适用于无法进行反平衡对照实验的单一数据集场景。

孤本观察

编辑认为，该研究将“可及性”与“丢失”的区分引入评估体系，是对持续学习社区一个重要盲点的修正。虽然 18% 的节省率看似有限，但在高频微调的实际工程成本中，这种由历史学习轨迹带来的隐性效率提升，可能成为优化计算预算的关键杠杆，值得在模型持续迭代基础设施中予以重视。

来源：arXiv cs.LG