学术论文

Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions

生产环境中大模型重复生成问题的综合研究与多种解法

Weiwei Wang, Weijie Zou, Jiyong Min

面向生产环境批量代码解读任务中的 LLM 无限重复生成问题，归纳三类典型 BadCase，并用马尔可夫分析与实验给出 Beam Search、presence_penalty 与 DPO 等可落地解法。

• 第一作者 · arXiv:2512.04419
• 三类生产重复模式与马尔可夫根因分析
• Beam Search / presence_penalty / DPO 解法对照
• 识别 early_stopping 为 Beam Search 关键参数

Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning

持续学习中虚假遗忘的实时检测与定量分析

Weiwei Wang

提出浅层对齐 vs 深层对齐框架，对持续学习中的虚假遗忘给出可量化指标、实时检测与自适应缓解策略，并在 Qwen2.5 系列模型上验证。

• 作者 · arXiv:2512.20634
• 浅层 / 深层对齐定量框架
• 虚假遗忘实时检测 · 86.2%–90.6% 识别准确率
• Qwen2.5-3B 至 32B 实验验证

Intelligence Degradation in Long-Context LLMs: Critical Threshold Determination via Natural Length Distribution Analysis

长上下文大模型的智能退化：基于自然长度分布的临界阈值判定

Weiwei Wang, Jiyong Min, Weijie Zou

提出自然长度分布分析方法，定位开源 Qwen2.5-7B 在最大上下文约 40%–50% 处的灾难性智能退化阈值，并归纳「浅层长上下文适应」统一解释框架。

• 第一作者 · arXiv:2601.15300
• 自然长度分布分析 · 避免截断伪影
• Qwen2.5-7B 临界阈值约 40%–50% 最大上下文
• 浅层长上下文适应统一框架