HuggingFace Daily Papers· Jinya Sakurai, Xun Xu, Jaehong Yoon·· 4 天前AI 评分35
扩散语言模型中学习解掩码策略的对照研究
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
AI 导读
研究通过对比监督策略发现，扩散语言模型中仅匹配最终输出的标签在低NFE时过于宽松，隐藏状态需与置信度互补才能提升效率。856K参数的策略在LLaDA-8B-Instruct上实现最佳准确率-NFE平衡，GSM8K吞吐量最高，且可迁移至Dream-7B-Instruct。约10%的NFE减少即可抵消策略开销。
来源：HuggingFace Daily Papers · arxiv.org