扩散语言模型中学习解掩码策略的对照研究
研究通过对比监督策略发现，扩散语言模型中仅匹配最终输出的标签在低NFE时过于宽松，隐藏状态需与置信度互补才能提升效率。856K参数的策略在LLaDA-8B-Instruct上实现最佳准确率-NFE平衡，GSM8K吞吐量最高，且可迁移至Dream-7B-Instruct。约10%的NFE减少即可抵消策略开销。
#模型发布
HuggingFace Daily PapersAI 评分3535 HuggingFace Daily PapersAI 评分4545 TTR-Compressor：基于测试时回归的序列压缩方法
TTR-Compressor 通过测试时回归实现序列压缩，在块级稀疏注意力中显著提升 RULER 性能，在多模态模型视觉 token 合并中减少 55.6% token 量且匹配标准 MLP 合并效果。该方法为高效语言和多模态模型提供新压缩方案。
HuggingFace Daily PapersAI 评分3535 Looped Uniform Diffusion Language Models
研究发现，在 Uniform Diffusion Language Models（UDLMs）中应用选择性 looping 技术，可显著提升训练效率：仅需 0.5 万亿 token 训练量即可达到原模型 1 万亿 token 的验证 NLL，训练 FLOPs 减少 2.8-3.3 倍；在相同 NFE 预算下，生成困惑度降低最高 9.8%。
HuggingFace Daily PapersAI 评分3535 PACE: 四位状态量化器提升线性注意力语言模型效率
PACE 是一种后处理四位状态量化器，通过减少状态舍入频率和按列共享量化尺度，在 4B-35B 参数模型上以混合四位和八位头实现与八位 DAMP 相当的性能，内存占用减少约三分之一，同时保持解码速度优势。
HuggingFace Daily Papers精选AI 评分6565 TraceForge: 用自己的思维进行知识蒸馏
研究人员提出 TraceForge 方法，通过生成与目标模型风格一致的推理轨迹来解决前沿模型不提供详细推理过程的问题。该方法采用两阶段训练，在 HumanEval+ 上提升 3.7 分，在 MBPP+ 上提升 7.1 分。
推荐理由：通过生成与目标模型风格一致的推理轨迹，TraceForge 在保持数据来源合规的同时提升了模型性能。
HuggingFace Daily PapersAI 评分3535 T2Quant：扩散语言模型的任务与时间感知量化框架
T2Quant 通过任务和时间敏感的混合精度量化，在固定比特预算下提升扩散语言模型平均精度达6.7个百分点。该框架无需真实标签或任务特定评估指标即可预测量化敏感模式，在三个DLM和六个基准测试中优于现有方法。
HuggingFace Daily PapersAI 评分4545 Specter: 通过量化驱动的多步推测卸载实现快速 MoE 推理
Specter 系统结合量化与推测解码，在单 GPU 上实现 MoE 模型专家卸载，平均输出令牌时间（TPOT）提速 1.50 倍（最高 1.88 倍）。该方案通过轻量量化草稿模型预测专家使用模式，优化通信与执行效率，使内存受限的 MoE 推理在消费级硬件上更可行。代码已开源。
arXiv · cs.ROAI 评分3535 智能体从多源轨迹数据中发现可解释的跟车定律
研究提出基于智能体的物理感知框架，从多源轨迹数据中发现自适应平衡响应模型（AERM），在自然驾驶数据上降低间距RMSE达9.11%-21.73%，提供可解释的微观交通仿真基础。
HuggingFace Daily Papers精选AI 评分6565 MemT-1.0：迈向记忆原生进化
MemT-1.0是一种新型记忆基础模型架构，将记忆内化为模型计算的一部分。该模型采用Gated DeltaNet-2和Mixture-of-Storage技术，在128K上下文长度下实现1.86倍端到端推理加速和66倍持久存储减少，同时保持与检索增强方法相竞争的性能。研究团队发布了MemT-1.0-Nano和MemT-1.0-Flash模型，并通过34B tokens训练数据进行了全面评估。
推荐理由：将记忆内化为模型计算能力，MemT-1.0 在128K上下文下实现1.86倍推理加速和66倍存储减少。
HuggingFace Daily PapersAI 评分4040 混合架构中的竞争学习研究
研究发现混合架构中线性时间递归与softmax注意力存在竞争学习现象，递归层更快学习检索功能导致注意力层失效。通过在训练中途停止递归层更新，可提升注意力层检索能力，该方法在1B参数模型上显著降低语言建模损失并提升常识推理与检索任务表现。
HuggingFace Daily PapersAI 评分4040 Ask to Distill：学习合成用于同策略蒸馏的数据
Ask-to-Distill 框架通过优化合成问题提升同策略蒸馏性能，在数学推理、代码生成和智能体任务中优于未优化的学生生成提示和KL过滤的真实问题，匹配或超过真实数据集表现。该方法利用教师-学生分歧和概率质量分布作为奖励信号，无需正确答案或候选学生更新。
HuggingFace Daily Papers精选AI 评分6565 分层稀疏注意力：在极端稀疏度下减少稀疏到密集的差距
研究人员提出分层稀疏注意力(SSA)框架，结合确定性检索和分数引导采样，在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中，Ministral-3-8B模型在32K和128K上下文长度下，50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%，恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由：分层稀疏注意力在极端稀疏度下接近密集注意力性能，同时实现近3倍解码加速，为长上下文推理提供新思路。
HuggingFace Daily PapersAI 评分3535 Meta Expert: 跨层专家共享提升 MoE 存储与检索效率
研究提出跨层共享的 Meta Expert 替代传统分层 Local Expert，在激活数量和专家粒度固定时，仅用 70-80% 专家即可匹配普通 MoE 性能，同时降低参数冗余和交叉熵损失，提升下游任务准确率。
HuggingFace Daily PapersAI 评分4040 扩散语言模型在不同任务和语言中的速度变化分析
研究发现扩散语言模型生成相同长度输出的计算成本差异显著，任务类型和语言特性是关键影响因素。DiffusionGemma 在故事写作中每个 token 的前向传递次数是语法纠错的 3 倍以上，多语言生成中高 token 化语言成本更高。错误答案的推理成本高于正确答案，按解码速度加权候选答案可提升准确率 4.2 分。
HuggingFace Daily PapersAI 评分4040 语言模型在任务组合下的脆弱性研究：隐式预算机制分析
研究发现语言模型在组合任务中错误率显著高于单任务，即使上下文窗口充足仍因隐式预算减少每任务 token 使用量。Claude Opus 5 和开源模型均显示，需长推理链的任务在组合时更脆弱，但按脆弱性分组可降低 43% token 消耗且保持准确率。
HuggingFace Daily Papers精选AI 评分7575 视觉语言模型的规模限制：逆规模效应研究
研究系统评估了19个来自四个不同模型家族的视觉语言模型，发现模型规模增大并不总是带来性能提升，在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应，准确度差距最高超过20个百分点。
推荐理由：研究揭示了视觉语言模型在特定任务上存在逆规模效应，挑战了模型越大越好的普遍假设。
HuggingFace Daily Papers精选AI 评分6565 策略而非能力：安全评测衡量的是训练中采用的'不安全'定义
研究发现安全评测分数可能取决于训练标签定义而非模型能力，相同架构的十个模型在相同评测上得分差异高达23倍，微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。
推荐理由：安全评测分数可能取决于训练标签定义而非模型能力，微调0.03%参数就能让评测结果跨越整个区间。
HuggingFace Daily PapersAI 评分4545 Deep Fusion Memory: 大语言模型的块级参数化记忆架构
Deep Fusion Memory (DFM) 是一种参数化记忆架构，通过块级记忆预测和门控交叉注意力将知识融入中间隐藏状态，无需显式检索。相比现有方法，DFM 构建训练数据的检索查询量减少 32 倍，检索项减少 2048 倍。在六项 QA 任务中，DFM 在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别超越最强基线 12.71% 和 11.19%。
HuggingFace Daily PapersAI 评分4040 Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
TreeOPSD 框架通过树感知后验自蒸馏解决长时序强化学习的信用分配稀疏性和策略漂移问题，在 Deep Research 等基准上显著提升 Qwen3-30B-A3B-Thinking-2507 的平均准确率 4.97 点。该框架无需价值网络或外部教师模型，通过递归回溯终端奖励生成隐式层级信用，并映射为有界教师分布以约束策略更新。
IT之家AI 评分6565 字节 Seed 团队发现 DeepSeek 长上下文性能漂移原因
字节 Seed 团队发现 DeepSeek-V4 系列模型因分块 KV 缓存压缩导致相位敏感性，使长上下文检索准确度在不同阶段相差高达 40 个百分点。