HuggingFace Daily Papers· Yan Wang·2026-10-21 04:00· 5 天前精选AI 评分65

TraceForge: 用自己的思维进行知识蒸馏

TraceForge: Distilling with Your Own Thinking

AI 导读

研究人员提出 TraceForge 方法，通过生成与目标模型风格一致的推理轨迹来解决前沿模型不提供详细推理过程的问题。该方法采用两阶段训练，在 HumanEval+ 上提升 3.7 分，在 MBPP+ 上提升 7.1 分。

推荐理由

通过生成与目标模型风格一致的推理轨迹，TraceForge 在保持数据来源合规的同时提升了模型性能。