长上下文大模型的智能退化：基于自然长度分布的临界阈值判定

arXiv:2601.15300 · 第一作者 · 2026-01-07

2026-01-07 第一作者 arXiv:2601.15300

Intelligence Degradation in Long-Context LLMs: Critical Threshold Determination via Natural Length Distribution Analysis

长上下文大模型的智能退化：基于自然长度分布的临界阈值判定

提出自然长度分布分析方法，定位开源 Qwen2.5-7B 在最大上下文约 40%–50% 处的灾难性智能退化阈值，并归纳「浅层长上下文适应」统一解释框架。

在 arXiv 阅读全文 arXiv:2601.15300 · PDF 可下载

长上下文大模型在接近某一临界长度时会出现超过 30% 的任务性能骤降，即便信息仍然相关。本文称之为智能退化，并指出常见模式是：短到中等上下文表现稳健，超过临界阈值后灾难性崩溃——即浅层长上下文适应。

三项贡献：① 使用样本自然 token 长度、不做截断填充的实验方法，增强「退化由上下文长度本身引起」的因果证据；② 在覆盖最大上下文 5%–95% 的混合数据上，用五方法交叉验证定位 Qwen2.5-7B 临界阈值约在最大上下文的 40%–50%，F1 由约 0.55–0.56 降至 0.3（约 45.5% 退化）；③ 统一浅层长上下文适应框架，解释退化并指导后续缓解。

论文发表于 arXiv:2601.15300（2026-01-07），为开源 Qwen 模型智能退化提供可复现的系统刻画，并对长上下文部署给出实践边界参考。配套实验代码已公开于 GitHub。

要点

  • 第一作者 · arXiv:2601.15300
  • 自然长度分布分析 · 避免截断伪影
  • Qwen2.5-7B 临界阈值约 40%–50% 最大上下文
  • 浅层长上下文适应统一框架