Solving LLM Repetition Problem in Production: A Comprehensive Study of Multiple Solutions
生产环境中大模型重复生成问题的综合研究与多种解法
面向生产环境批量代码解读任务中的 LLM 无限重复生成问题，归纳三类典型 BadCase，并用马尔可夫分析与实验给出 Beam Search、presence_penalty 与 DPO 等可落地解法。
本文针对生产部署中大语言模型持续重复生成、无法正常终止的问题展开系统研究。作者结合一线批量代码解读任务经验，识别出业务规则生成重复、方法调用关系分析重复、PlantUML 语法生成重复三类模式，并从贪心解码与自强化效应给出理论解释。
实验表明：Beam Search 配合 early_stopping=True 可作为通用后处理手段覆盖三类问题；presence_penalty 对第一类业务规则重复有效；Direct Preference Optimization（DPO）微调则在模型层面对三类问题给出统一解。工作价值在于把生产一线经验与可复现实验结合，给出可部署的参数与策略映射。
论文发表于 arXiv:2512.04419（cs.AI），亦可在 alphaXiv、Moonlight 等平台检索到摘要与解读。
要点
- 第一作者 · arXiv:2512.04419
- 三类生产重复模式与马尔可夫根因分析
- Beam Search / presence_penalty / DPO 解法对照
- 识别 early_stopping 为 Beam Search 关键参数