TraceForge: 用自己的思维进行知识蒸馏
研究人员提出 TraceForge 方法，通过生成与目标模型风格一致的推理轨迹来解决前沿模型不提供详细推理过程的问题。该方法采用两阶段训练，在 HumanEval+ 上提升 3.7 分，在 MBPP+ 上提升 7.1 分。
推荐理由：通过生成与目标模型风格一致的推理轨迹，TraceForge 在保持数据来源合规的同时提升了模型性能。
#模型发布科技财经热点 · 每日精选
自动盯住上百个信源，用模型摘要、打分、精选，把同一件事的多篇报道归到一起，每天早上出一份日报。聚焦机器人、AI 与财经投资。
今日脉搏
具身智能专栏 →347今日入库
7 条进入精选
42/47 信源在线· 5 异常
近 14 天入库走势
近 7 天分类构成
行业 1382财经 1155硬件本体 1003AI 产品 742AI 模型 264其他 397
HuggingFace Daily Papers精选AI 评分6565
HuggingFace Daily Papers精选AI 评分6565 MemT-1.0：迈向记忆原生进化
MemT-1.0是一种新型记忆基础模型架构，将记忆内化为模型计算的一部分。该模型采用Gated DeltaNet-2和Mixture-of-Storage技术，在128K上下文长度下实现1.86倍端到端推理加速和66倍持久存储减少，同时保持与检索增强方法相竞争的性能。研究团队发布了MemT-1.0-Nano和MemT-1.0-Flash模型，并通过34B tokens训练数据进行了全面评估。
推荐理由：将记忆内化为模型计算能力，MemT-1.0 在128K上下文下实现1.86倍推理加速和66倍存储减少。
HuggingFace Daily Papers精选AI 评分6565 分层稀疏注意力：在极端稀疏度下减少稀疏到密集的差距
研究人员提出分层稀疏注意力(SSA)框架，结合确定性检索和分数引导采样，在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中，Ministral-3-8B模型在32K和128K上下文长度下，50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%，恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由：分层稀疏注意力在极端稀疏度下接近密集注意力性能，同时实现近3倍解码加速，为长上下文推理提供新思路。
HuggingFace Daily Papers精选AI 评分7575 视觉语言模型的规模限制：逆规模效应研究
研究系统评估了19个来自四个不同模型家族的视觉语言模型，发现模型规模增大并不总是带来性能提升，在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应，准确度差距最高超过20个百分点。
推荐理由：研究揭示了视觉语言模型在特定任务上存在逆规模效应，挑战了模型越大越好的普遍假设。
HuggingFace Daily Papers精选AI 评分6565 策略而非能力：安全评测衡量的是训练中采用的'不安全'定义
研究发现安全评测分数可能取决于训练标签定义而非模型能力，相同架构的十个模型在相同评测上得分差异高达23倍，微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。
推荐理由：安全评测分数可能取决于训练标签定义而非模型能力，微调0.03%参数就能让评测结果跨越整个区间。
已经到底了