七个开源强化学习训练框架对论文方法的纳入与审查

研究追踪七个开源框架的提交历史，发现1598篇提出通用RL训练方法的论文中仅37篇被至少一个框架纳入。被纳入论文更常训练30B参数以上策略（41% vs 10%），且更常修改现有损失函数中的系数、裁剪或权重（29% vs 9%）。框架公开讨论显示多数未被纳入的方法缺乏相关讨论，用户很少公开报告训练失败。