Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning
持续学习中虚假遗忘的实时检测与定量分析
提出浅层对齐 vs 深层对齐框架,对持续学习中的虚假遗忘给出可量化指标、实时检测与自适应缓解策略,并在 Qwen2.5 系列模型上验证。
灾难性遗忘是大模型持续学习的核心挑战。近期工作指出,性能下降可能来自任务对齐被破坏的「虚假遗忘」,而非知识真正丢失。本文进一步提出浅层对齐与深层对齐框架,给出对齐深度的定量刻画:当前许多任务对齐仅维持在输出前 3–5 个 token,因而脆弱、可逆,也解释了微调攻击为何有效。
作者构建完整框架:对齐深度 0–1 指标、训练过程中的实时浅层对齐检测、可视化与可恢复性预测工具,以及自动区分遗忘类型并促进深层对齐的自适应策略。在多数据集与 Qwen2.5-3B 至 32B 上,识别准确率达 86.2%–90.6%,促进深层对齐相对基线提升抗遗忘鲁棒性 3.3%–7.1%。
论文发表于 arXiv:2512.20634(cs.LG)。
要点
- 作者 · arXiv:2512.20634
- 浅层 / 深层对齐定量框架
- 虚假遗忘实时检测 · 86.2%–90.6% 识别准确率
- Qwen2.5-3B 至 32B 实验验证