持续学习中虚假遗忘的实时检测与定量分析

arXiv:2512.20634 · 作者 · 2025-12-02

2025-12-02 作者 arXiv:2512.20634

Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning

持续学习中虚假遗忘的实时检测与定量分析

提出浅层对齐 vs 深层对齐框架,对持续学习中的虚假遗忘给出可量化指标、实时检测与自适应缓解策略,并在 Qwen2.5 系列模型上验证。

灾难性遗忘是大模型持续学习的核心挑战。近期工作指出,性能下降可能来自任务对齐被破坏的「虚假遗忘」,而非知识真正丢失。本文进一步提出浅层对齐与深层对齐框架,给出对齐深度的定量刻画:当前许多任务对齐仅维持在输出前 3–5 个 token,因而脆弱、可逆,也解释了微调攻击为何有效。

作者构建完整框架:对齐深度 0–1 指标、训练过程中的实时浅层对齐检测、可视化与可恢复性预测工具,以及自动区分遗忘类型并促进深层对齐的自适应策略。在多数据集与 Qwen2.5-3B 至 32B 上,识别准确率达 86.2%–90.6%,促进深层对齐相对基线提升抗遗忘鲁棒性 3.3%–7.1%。

论文发表于 arXiv:2512.20634(cs.LG)。

要点

  • 作者 · arXiv:2512.20634
  • 浅层 / 深层对齐定量框架
  • 虚假遗忘实时检测 · 86.2%–90.6% 识别准确率
  • Qwen2.5-3B 至 32B 实验验证