Cola2: 协同自适应分层语言建模框架
Cola2 通过动态文本分段和语义压缩,结合重建与生成监督,实现连续-离散协同自适应。该模型在 3460 亿源 tokens 训练下,8 项任务平均分达 60.10,超越 Llama-3-8B 在 HellaSwag 和 StoryCloze 的表现。
Cola2 通过动态文本分段和语义压缩,结合重建与生成监督,实现连续-离散协同自适应。该模型在 3460 亿源 tokens 训练下,8 项任务平均分达 60.10,超越 Llama-3-8B 在 HellaSwag 和 StoryCloze 的表现。
SCOPE是一种新方法,将自然语言策略编译为可执行程序,由小型模型、确定性提取器和组合代码组成。该方法在真实世界策略任务基准测试中,实现了跨任务和模型的最平均准确率,且预测更稳定、可解释,并能部署在低成本模型上达到前沿推理模型的准确率水平。
推荐理由:SCOPE将自然语言策略编译为神经符号谓词程序,解决了LLM代理策略执行中的准确性与效率矛盾。
ToM2Vec 通过固定预算的连续推理 Token 在潜在空间中学习抽象心智理论,支持多智能体在协作、竞争和混合动机环境中的交互。实验显示其在 Overcooked-AI 等环境中优于基线和竞争模型,且能泛化至未训练的 GPT-5.4 等模型。
研究人员提出DeepEvolve系统,一种基于未来事件预测的可持续进化智能体系统,该系统通过与动态变化环境持续交互并内化经验实现自我改进。在FutureX排行榜上,该自我改进预测器连续三周排名第一,评分提升高达195%;在合成的评估中,它在四个基础大语言模型中排名前三,比最强基线高出最多10.7 Bradley-Terry分。
推荐理由:通过未来事件预测构建可持续进化系统,在真实世界评估中连续三周排名第一,展示AI从静态模型向自我进化智能体的转变。
SpatialBrain 框架通过保留空间推理决策经验,在五个基准测试中优于或持平同骨干模型的直接答案。该框架包含 3DFusionMemory 融合场景观测、Spatial Skill Library 提供可复用工具程序,以及 Spatial Cognition 关联任务条件与经验使用策略。
研究人员提出 TraceForge 方法,通过生成与目标模型风格一致的推理轨迹来解决前沿模型不提供详细推理过程的问题。该方法采用两阶段训练,在 HumanEval+ 上提升 3.7 分,在 MBPP+ 上提升 7.1 分。
推荐理由:通过生成与目标模型风格一致的推理轨迹,TraceForge 在保持数据来源合规的同时提升了模型性能。
HRoPE 通过将图像块表示为倾斜 3D 平面,将平面诱导的单应性注入注意力机制,为多视图 transformer 提供几何先验以校正透视失真。在 RealEstate10K、CO3Dv2 和 DL3DV 数据集上,HRoPE 在新视图合成任务中优于现有几何位置编码。该方法无需真实几何数据,平面参数可通过视图合成目标端到端预测或基础模型推导。
Specter 系统结合量化与推测解码,在单 GPU 上实现 MoE 模型专家卸载,平均输出令牌时间(TPOT)提速 1.50 倍(最高 1.88 倍)。该方案通过轻量量化草稿模型预测专家使用模式,优化通信与执行效率,使内存受限的 MoE 推理在消费级硬件上更可行。代码已开源。
研究人员提出S-Agent 2.0,一种通过命令行感知工具增强通用编码代理空间推理能力的方法。该方法在MMSI-Bench和ReVSI评测中显著提升了Qwen3.8-27B和Gemini-3.8-Flash的性能,分别达到66.5和82.3分,以及74.1和90.5分,超过了专用系统SpatialClaw的性能。
Matrix-Game 4.0通过分离游戏执行与视觉生成,实现了480p分辨率、60FPS的实时游戏体验,在NVIDIA RTX5090上按键到显示延迟为112ms。该系统使用轻量级游戏引擎维护世界状态,多模态编码代理将玩家想法转化为游戏代码,基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。
同一件事,精选收录的是《昆仑万维发布Matrix-Game 4.0视频大模型游戏》
研究提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)和容错异步训练系统(FATS),使部署中的机器人共享执行经验改进共同策略。在五个真实操作任务中,策略成功率高达93.3-99.2%,96台机器人在手机包装任务中成功率从79.2%提升至98.3%。
推荐理由:通过机器人共享执行经验提升策略可靠性,无需额外专家纠正,为大规模机器人学习提供新范式。
InfiniDream 是一个 VLM 驱动的开放式程序化 3D 世界生成框架,通过符号约束资产生成和端到端文本到世界管道,支持创建新型逼真资产和大规模 3D 场景。在 100 个对象和 20 个场景生成任务中,该框架在四个感知指标上表现更优,并通过多样性分析和人类偏好评估验证有效性。
研究发现,主流模型在微调和偏好优化后仍倾向于标准化回复,对非标准英语方言匹配不足。作者提出校准适配对(CAP)数据集,能在保持标准英语用户回复质量的同时提升方言匹配能力,且不影响指令遵循效果。
Ask-to-Distill 框架通过优化合成问题提升同策略蒸馏性能,在数学推理、代码生成和智能体任务中优于未优化的学生生成提示和KL过滤的真实问题,匹配或超过真实数据集表现。该方法利用教师-学生分歧和概率质量分布作为奖励信号,无需正确答案或候选学生更新。
TextRIRO 通过破坏原始图像构建自配对训练数据,结合字符列打乱与图像裁剪方法,在真实场景文本编辑任务中实现高精度与视觉真实性,并构建 TextRIRO-3M 数据集提升下游文本识别准确率。
研究团队提出Agent4Sci测试平台,评估前沿智能体在20个科学ML基准上的表现。Claude Opus平均提升10.4%,但进步主要来自ML工程技巧而非研究洞察。通过添加轻量级插件技能,Claude Opus性能提升至20.1%,表明智能体在科学领域仍有巨大改进空间。代码和数据已在GitHub和Hugging Face开源。
推荐理由:Agent4Sci测试显示前沿智能体在科学ML基准上平均提升10.4%,但进步主要来自工程技巧而非研究洞察,揭示当前智能体在科学发现中的真实能力边界。
研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。
研究人员提出分层稀疏注意力(SSA)框架,结合确定性检索和分数引导采样,在保持高稀疏度的同时显著提升长上下文推理性能。在RULER-HARD测试中,Ministral-3-8B模型在32K和128K上下文长度下,50倍稀疏度下准确率分别从81.8%提升至84.2%和从63.8%提升至69.3%,恢复密集注意力性能的94%和85%。优化后的CUDA内核实现1M上下文下近3倍解码加速。
推荐理由:分层稀疏注意力在极端稀疏度下接近密集注意力性能,同时实现近3倍解码加速,为长上下文推理提供新思路。
研究提出跨层共享的 Meta Expert 替代传统分层 Local Expert,在激活数量和专家粒度固定时,仅用 70-80% 专家即可匹配普通 MoE 性能,同时降低参数冗余和交叉熵损失,提升下游任务准确率。
研究追踪七个开源框架的提交历史,发现1598篇提出通用RL训练方法的论文中仅37篇被至少一个框架纳入。被纳入论文更常训练30B参数以上策略(41% vs 10%),且更常修改现有损失函数中的系数、裁剪或权重(29% vs 9%)。框架公开讨论显示多数未被纳入的方法缺乏相关讨论,用户很少公开报告训练失败。
Policy-Mask 通过联合优化时间步、网络块和通道选择,在 ADE20K 上实现 38.9 mIoU,CIFAR-100 达 75.4% top-1 准确率。该方法在 256 通道时取得最佳性能,适用于扩散模型和扩散 transformers。
研究团队提出DiffResearch框架,将扩散语言模型(dLLM)应用于深度研究各阶段,相比自回归模型实现约6倍端到端速度提升。dFast模式通过读取去噪中间状态提取子查询,实现1.99倍中位数加速且不降低报告质量。该框架已开源并采用Apache-2.0许可证。
推荐理由:扩散模型在深度研究中实现6倍速度提升,dFast模式进一步加速分解过程,为交互式研究系统提供新路径。
研究发现扩散语言模型生成相同长度输出的计算成本差异显著,任务类型和语言特性是关键影响因素。DiffusionGemma 在故事写作中每个 token 的前向传递次数是语法纠错的 3 倍以上,多语言生成中高 token 化语言成本更高。错误答案的推理成本高于正确答案,按解码速度加权候选答案可提升准确率 4.2 分。
研究发现语言模型在组合任务中错误率显著高于单任务,即使上下文窗口充足仍因隐式预算减少每任务 token 使用量。Claude Opus 5 和开源模型均显示,需长推理链的任务在组合时更脆弱,但按脆弱性分组可降低 43% token 消耗且保持准确率。
GRSE 通过对比同一技能库下的多次执行结果,为智能体-技能对分配信用,在 HotpotQA 和 LoCoMo 上超越 MASkills,多跳问题 F1 分数最高提升 6.7。该方法能正确识别有害技能并恢复纯净库性能,提升检索准确性且技能可跨任务迁移。
SpecKCast 通过频域预测实现扩散模型加速,在 FLUX.1-dev、Qwen-Image 等模型上达到 6 倍速度提升,仅需额外 0.05 GiB 内存。该方法使用 2D 离散余弦变换和卡尔曼滤波跟踪特征系数,仅在预测不确定性超过阈值时重新计算模型输出。
HarnessRL 引入训练时支架,通过任务采样、rollout 指导和评分标准三个接口协同进化策略,解决开放强化学习中奖励失效问题。在 Rubric-Mix-10k 基准上,HarnessRL 在 4B 和 9B 模型规模上超越最强基线 2.8-3.1 分,并将训练步数减半至最佳检查点。代码与数据已开源。
FineSplat 通过细分图像块和双分组策略提升3D高斯飞溅的细节重建能力,在相同或更少高斯数量下实现SOTA效果。该框架结合视图分组与3D空间分组优化多视图交互,并利用重建误差反馈增强精细结构与外观恢复。
研究提出 Painting Change Map,通过跟踪 1000 个时间步的结构变化,实现对绘画/反绘画过程的细粒度时空控制。该方法在基准测试中超越现有控制基线,与 SOTA 绘画方法性能相当或更优,代码已开源。
SparseMax-dSTL 通过稀疏梯度投影构建时序逻辑轨迹优化,确保梯度权重始终为正且独立于时间跨度。在平面独轮车和七关节机械臂仿真中,其梯度权重在违规样本上保持1,而传统方法随时间衰减至0.04。该方法约束返回的轨迹满足规范要求,优于现有近似方法。
Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。
推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。
该研究提出统一控制/通信策略,通过控制屏障函数确保间歇通信下智能体安全避碰,预通信机制减少77.5%消息量且零碰撞。策略基于可达集计算与不确定性风险指标,在追捕场景中验证有效性。
OpenAI内部AI模型一次性生成722篇数学手稿,涵盖17个数学方向,包括对多个千禧年难题的推进与局部突破。这些成果在GitHub发布后引发数学界强烈反应,25位菲尔兹奖得主发表声明警告,核心争议在于AI生成成果的验证流程绕过了传统同行评议机制。
推荐理由:原文揭示了AI生成数学论文引发的验证挑战与制度冲突,展示了数学界如何应对这一变革。
ArXiv平台从2026年10月1日起限制每人每月最多投稿2篇,以应对AI工具导致的论文数量激增。平台投稿量从2016年9月的9,869篇增长至2026年9月的40,363篇,其中AI类别增长超过6倍。
Google Research 推出 MilleMiglia,一个 C++ 实例生成器,用于创建物流中段运输问题的真实基准数据。该工具解决中段物流缺乏高质量公开数据的问题,支持跨区域配送中心间的复杂运输网络模拟。代码已在 GitHub 开源。