从舰队经验中学习:一种机器人的集体学习范式
研究提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)和容错异步训练系统(FATS),使部署中的机器人共享执行经验改进共同策略。在五个真实操作任务中,策略成功率高达93.3-99.2%,96台机器人在手机包装任务中成功率从79.2%提升至98.3%。
推荐理由:通过机器人共享执行经验提升策略可靠性,无需额外专家纠正,为大规模机器人学习提供新范式。
研究提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)和容错异步训练系统(FATS),使部署中的机器人共享执行经验改进共同策略。在五个真实操作任务中,策略成功率高达93.3-99.2%,96台机器人在手机包装任务中成功率从79.2%提升至98.3%。
推荐理由:通过机器人共享执行经验提升策略可靠性,无需额外专家纠正,为大规模机器人学习提供新范式。
研究发现混合架构中线性时间递归与softmax注意力存在竞争学习现象,递归层更快学习检索功能导致注意力层失效。通过在训练中途停止递归层更新,可提升注意力层检索能力,该方法在1B参数模型上显著降低语言建模损失并提升常识推理与检索任务表现。
研究人员提出Stateful Harness框架,将世界状态演化与视频渲染分离,构建了WorldState-Bench基准测试。在50组反事实双胞胎对测试中,完整框架使模型在隐藏状态下遵循规则的能力达到92%,远高于单独视频模型的32%。
推荐理由:将世界状态演化与视频渲染分离,使模型在隐藏状态下遵循规则的能力从32%提升至92%,为具身智能交互提供了新思路。
Manga2Animate 通过多智能体框架将漫画转化为忠实于原作的动画,生成动画脚本和分镜并双重审核,实验和用户研究显示其比现有方法更忠实且一致。
Holi-World 引入集成生态系统,连接经验捕获、世界表示和自动数据构建,通过 HOLIWORLD-Founday 构建约 100 个场景的世界记录。HOLIWORLD-VL-4B 在 ScanNet、Aria Digital Twin 等数据集上展现静态感知和动态跟踪性能,训练后时空推理能力在 HOLIWORLD-Bench 和 EgoDynamic4D 上显著提升。
BrainLoRA 通过 LoRA 和轻量读出层微调多模态主干模型,在 Algonauts 2025 Challenge 上刷新 Qwen3-Omni 脑编码性能纪录。该方法利用因果结构单次预测多时间点,将 104B 参数模型适配成本降至最低,并支持 200+ 模型集成训练。
InfiniDream 是一个 VLM 驱动的开放式程序化 3D 世界生成框架,通过符号约束资产生成和端到端文本到世界管道,支持创建新型逼真资产和大规模 3D 场景。在 100 个对象和 20 个场景生成任务中,该框架在四个感知指标上表现更优,并通过多样性分析和人类偏好评估验证有效性。
研究者提出OpenVLHarness框架,结合能力层和持久多模态记忆,在22个基准测试上提升9.7-12.6分,相比无工具基线显著提高性能,同时降低模型token成本最多37%。
推荐理由:通过工具使用和持久多模态记忆提升视觉推理,9.7-12.6分的提升证明外部知识整合的价值。
研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。
推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。
该研究融合冻结的 DINOv2 和 Depth Anything V2 模型特征,通过可训练 transformer 匹配管道实现光流估计,在 Sintel 数据集上达到 2.37 EPE,优于 FlowSeek (T) 的 2.52。RoCo-Spring 2026 参赛方案获得 1.1038 平衡分数,代码已开源。
研究开发仿真到现实的机器人学习框架,结合预训练通用策略 Octo 和 π₀.₅ 进行农业抓取任务。π₀.₅ 在任务性能和分布偏移鲁棒性上优于 Octo,验证了预训练策略与任务特定演示学习的潜力。
Prior-Informed Adaptation (PIA) 框架通过预训练世界模型并利用不确定性正则化规划实现快速适应,在仿真中比基线方法更快适应赛道和路面变化,硬件测试中仅需不到一小时车载交互即可实现可靠少样本适应。
研究比较了两种低成本LEAP手型在物体旋转任务中的表现,发现触觉信息可显著提升旋转效率并降低指尖负载,对称手型在旋转次数和速率上表现更优。
推荐理由:对比仿生与对称手型在物体旋转中的表现,触觉信息提升效率的同时降低负载,为机器人手部设计提供新思路。
研究团队提出DexOAK框架,一种基于学习的物体感知运动学重定向方法,可从人类动作捕捉数据生成接触一致的机器人手部参考动作。该方法通过交互图拉普拉斯目标函数优化手部-物体图,使机器人复现物体相对交互几何而非单纯人类手部姿态。在Inspire手上测试,OakInk-v2任务成功率从39.5%提升至48.4%,ARCTIC数据集ADD-AUC从62.7%提升至77.9%。
推荐理由:通过物体感知的运动学重定向技术,将人类动作数据转化为机器人手部操作,实现零样本跨数据集迁移。
Tianwei Luo等人发布了HandsOn,一个跨形态灵巧操作的仿真平台和基准,支持五种机械臂、六种灵巧手和约200种刚体、关节和可变形物体。该基准包含18,000个人类演示和66个人类验证任务,分为Core-50和Transfer-16两部分。
推荐理由:首个覆盖五臂六手200物体的灵巧操作基准,暴露了当前AI在物理交互中的真实能力边界。
PICA-WAM 提出一种自监督训练框架,通过跨外观自对齐任务提升世界行动模型(WAM)对任务无关视觉扰动的鲁棒性。在 RoboTwin 2.0、LIBERO-Plus、EBench 和真实机器人测试中,PICA-WAM 显著提升视觉扰动下的成功率,同时保持仿真性能。该框架通过 EMA 教师模型和轻量投影头对齐浅层动作表示,减少视频特征对无关外观的敏感性。
研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。
推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。
研究通过PhysRSI-eval五轴指标量化物理RSI,在18个操作任务中评估不同VLMs,提出物理桶形假说。分析显示高分数未必伴随早期高效提升,且场景适应与可复用经验可共存。
研究提出 CoopUQ 框架,通过跨机器人时空特征融合预测未来占用网格地图,并利用预测结果及不确定性引导多机器人强化学习决策,在遮挡和分布外场景下提升安全性和鲁棒性。实验显示该框架在 Unity3D 模拟环境和真实机器人测试中均优于基准方法。代码和视频已公开。
研究人员提出PhysWord,一种基于Physical Words的推理-行动基础模型,使用原子动作动词作为物理动态的共享语义锚点。该模型在visuotactile UniVTAC上达到90.3%的成功率,在vision-based LIBERO-Long上达到99.6%的成功率,并在使用双夹爪和灵巧手的真实世界任务中优于竞争方法。
推荐理由:用原子动作动词作为物理动态的语义锚点,PhysWord在机器人操作任务中实现了90.3%和99.6%的成功率。
研究团队提出Ropedia W0,首个涵盖人类和多样化机器人的运动-操作世界基础模型。该模型基于Xp-Data数据集(包含1万小时人类第一视角数据和3千小时机器人数据)和统一的多模态注释,通过统一运动学表示编码运动和操作。在五个跨具身基准测试上达到最先进性能,并支持实时长时间运行,可用于VR交互、策略评估和基于模型的规划。
推荐理由:通过统一运动学和投影骨架表示,首次实现跨人类和机器人的世界模型,为具身智能决策提供新基础。
TokenWorth 在 LifelongAgentBench 环境中实现最高任务成功率,同时使用最少的输出 tokens。该框架通过稀疏执行反馈学习查询相关的记忆价值,应用于记忆检索和有限内存管理。代码已开源,适用于本地和 API 部署。
研究人员提出EgoXperience,一个全栈范式,通过数据收集、自动标注、统一建模和基准测试解决第一人称视频中人类活动重建的一致性问题。该研究包含EgoX-Engine自动标注引擎、EgoX-Data-6M数据集和EgoX模型,在单目第一人称视频输入下实现了相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到SOTA性能。
DeOverlay 提出源锚定流程模型,通过区域加权流匹配和可见性归一化时间聚合重建视频,在 DVTE-Bench 上超越四个基线,Mask LPIPS 和 Mask VFID 分别降低 58.3% 和 70.3%。该基准包含 1,631 对视频,覆盖八类文本叠加层。
AnyGoal 引入基于世界模型环境的基准测试,评估模型在重组熟悉状态-动作因子时的泛化能力。研究发现当前模型在目标偏移预测和规划中普遍存在动态与表示失败。该开源框架为评估世界模型在新任务中的泛化进展提供基础。
HarnessPro 是一种无需标签的方法,通过递归自改进优化智能体(harness)性能并降低执行成本。该方法使用LLM生成的测试评估候选harness,提供三种不同性能-成本优先级的版本。实验显示,在多个基准测试中,HarnessPro的重型模式相比RHO方法平均通过率提升2.0个百分点,同时每任务成本降低26.1%。
推荐理由:通过递归自改进和帕累托优化,HarnessPro 在提升任务性能的同时降低执行成本,为智能体开发提供了新思路。
研究人员提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,支持机器人动作生成。该框架在Short-Horizon OVON单视图适应基准上达到86.5%成功率,在HabitatGS-LN基准上达到94.9%成功率,优于评估的基线模型,并在真实四足机器人上部署验证了泛化能力。
推荐理由:利用网络第一人称视频训练机器人导航,解决了真实数据收集成本高和模拟到现实差距大的问题。
RoAR-VAE 通过鲁棒预测原则改进潜在扩散性,在相同训练预算下平均生成基准性能超越最强基线 tokenizer 2.19 分,小文本重建精度较 FLUX.1-VAE 提高 16.93 个百分点。该模型结合 RobustAlign 和 RobustRecon 两个目标,平衡了重建保真度与下游生成可学习性。
研究提出 Fréchet Forcing 方法,通过生成锚定、上下文保真度和现实匹配三个约束,在 381 帧片段上微调 MiniWorld-1B 模型,使其在机器人操作和相机控制探索中生成超过 4,000 帧的稳定预测,无需教师模型或长视频训练。
复旦大学可信具身智能研究院助理教授贾萧松分享了他从自动驾驶到具身智能的研究历程,指出技术路线从模块化到端到端,从模仿学习到强化学习,再到世界模型的转变。他认为模仿学习存在根本局限,强化学习才是解决复杂决策问题的关键,但面临规模化挑战。具身智能领域将面临与自动驾驶类似的问题,需要先模仿再强化,并通过世界模型提高训练效率。
华中师范大学提出 CoReFuse-Med,通过浅层净化和深层模态偏置校正提升多模态医学图像分割性能,在 EPVS 数据集上 DSC 达 0.7326,优于 MedNeXt 的 0.7085。模型采用 LACE+IMSH+MBCF 三模块架构,参数量仅 2.665M,有效解决低分辨率模态污染问题。
欧洲X射线自由电子激光装置(XFEL)制造出峰值强度超1020瓦/平方厘米的硬X射线闪光,刷新阿秒硬X射线脉冲强度世界纪录。该成果由日本东京大学、德国电子同步加速器研究中心等机构科学家实现,发表于《光学》杂志。
研究发现,主流模型在微调和偏好优化后仍倾向于标准化回复,对非标准英语方言匹配不足。作者提出校准适配对(CAP)数据集,能在保持标准英语用户回复质量的同时提升方言匹配能力,且不影响指令遵循效果。
StreamEval 是一个统一的交互式流式视频生成基准,涵盖五个任务:头像对话、头像表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度评估模型性能:任务执行、状态一致性、视觉保真度和视听协调。评估37个模型后发现,高视觉质量和身份保留并不一定可靠的任务执行或持续的状态一致性。
Code2Video-Compass 发布,涵盖 T2V/I2V/V2V 三类视频生成,包含 2,104 项任务和 17 项评测指标。评测显示 15 个 MLLM 在高复杂度任务中表现下降,需提升视频质量与指令对齐能力。
Tianyu Fu等人提出了一种新的缓存工程方案,允许智能体直接控制KV缓存而不修改轨迹或重新填充保留上下文。实验显示,该方案在基准测试中平均提高1.7分,降低27.7%成本,并实现1.2倍输出吞吐量和1.5倍P95请求延迟加速。
推荐理由:通过直接控制KV缓存而非修改轨迹,解决了智能体长任务中的缓存效率问题,但历史依赖性给服务引擎带来新挑战。
Ask-to-Distill 框架通过优化合成问题提升同策略蒸馏性能,在数学推理、代码生成和智能体任务中优于未优化的学生生成提示和KL过滤的真实问题,匹配或超过真实数据集表现。该方法利用教师-学生分歧和概率质量分布作为奖励信号,无需正确答案或候选学生更新。
TextRIRO 通过破坏原始图像构建自配对训练数据,结合字符列打乱与图像裁剪方法,在真实场景文本编辑任务中实现高精度与视觉真实性,并构建 TextRIRO-3M 数据集提升下游文本识别准确率。
研究团队提出Agent4Sci测试平台,评估前沿智能体在20个科学ML基准上的表现。Claude Opus平均提升10.4%,但进步主要来自ML工程技巧而非研究洞察。通过添加轻量级插件技能,Claude Opus性能提升至20.1%,表明智能体在科学领域仍有巨大改进空间。代码和数据已在GitHub和Hugging Face开源。
推荐理由:Agent4Sci测试显示前沿智能体在科学ML基准上平均提升10.4%,但进步主要来自工程技巧而非研究洞察,揭示当前智能体在科学发现中的真实能力边界。
研究团队构建多学科 AI 研究员,通过自适应分配实验预算,在 1.3B 规模下超越 GDN2,语言建模与推理任务表现更优。移除任一组织组件均导致发现能力显著下降。