Vision-Language-Delta-Action: 学习紧凑Delta作为机器人操作的可操作转换接口
本文提出Vision-Language-Delta-Action(VLDA)范式,将完整未来预测重构为紧凑可操作的转换建模。其核心是紧凑的Delta变量,作为视觉语言理解与动作生成的接口。实验表明VLDA提高了长时一致性、鲁棒性和泛化能力。
推荐理由:通过紧凑的Delta变量作为视觉语言理解与动作生成的接口,VLDA模型降低了机器人学习负担,提升了长时一致性和鲁棒性。
本文提出Vision-Language-Delta-Action(VLDA)范式,将完整未来预测重构为紧凑可操作的转换建模。其核心是紧凑的Delta变量,作为视觉语言理解与动作生成的接口。实验表明VLDA提高了长时一致性、鲁棒性和泛化能力。
推荐理由:通过紧凑的Delta变量作为视觉语言理解与动作生成的接口,VLDA模型降低了机器人学习负担,提升了长时一致性和鲁棒性。
研究人员提出Stateful Harness框架,将世界状态演化与视频渲染分离,构建了WorldState-Bench基准测试。在50组反事实双胞胎对测试中,完整框架使模型在隐藏状态下遵循规则的能力达到92%,远高于单独视频模型的32%。
推荐理由:将世界状态演化与视频渲染分离,使模型在隐藏状态下遵循规则的能力从32%提升至92%,为具身智能交互提供了新思路。
Holi-World 引入集成生态系统,连接经验捕获、世界表示和自动数据构建,通过 HOLIWORLD-Founday 构建约 100 个场景的世界记录。HOLIWORLD-VL-4B 在 ScanNet、Aria Digital Twin 等数据集上展现静态感知和动态跟踪性能,训练后时空推理能力在 HOLIWORLD-Bench 和 EgoDynamic4D 上显著提升。
PICA-WAM 提出一种自监督训练框架,通过跨外观自对齐任务提升世界行动模型(WAM)对任务无关视觉扰动的鲁棒性。在 RoboTwin 2.0、LIBERO-Plus、EBench 和真实机器人测试中,PICA-WAM 显著提升视觉扰动下的成功率,同时保持仿真性能。该框架通过 EMA 教师模型和轻量投影头对齐浅层动作表示,减少视频特征对无关外观的敏感性。
研究通过PhysRSI-eval五轴指标量化物理RSI,在18个操作任务中评估不同VLMs,提出物理桶形假说。分析显示高分数未必伴随早期高效提升,且场景适应与可复用经验可共存。
研究团队提出Ropedia W0,首个涵盖人类和多样化机器人的运动-操作世界基础模型。该模型基于Xp-Data数据集(包含1万小时人类第一视角数据和3千小时机器人数据)和统一的多模态注释,通过统一运动学表示编码运动和操作。在五个跨具身基准测试上达到最先进性能,并支持实时长时间运行,可用于VR交互、策略评估和基于模型的规划。
推荐理由:通过统一运动学和投影骨架表示,首次实现跨人类和机器人的世界模型,为具身智能决策提供新基础。
AnyGoal 引入基于世界模型环境的基准测试,评估模型在重组熟悉状态-动作因子时的泛化能力。研究发现当前模型在目标偏移预测和规划中普遍存在动态与表示失败。该开源框架为评估世界模型在新任务中的泛化进展提供基础。
研究提出 Fréchet Forcing 方法,通过生成锚定、上下文保真度和现实匹配三个约束,在 381 帧片段上微调 MiniWorld-1B 模型,使其在机器人操作和相机控制探索中生成超过 4,000 帧的稳定预测,无需教师模型或长视频训练。
复旦大学可信具身智能研究院助理教授贾萧松分享了他从自动驾驶到具身智能的研究历程,指出技术路线从模块化到端到端,从模仿学习到强化学习,再到世界模型的转变。他认为模仿学习存在根本局限,强化学习才是解决复杂决策问题的关键,但面临规模化挑战。具身智能领域将面临与自动驾驶类似的问题,需要先模仿再强化,并通过世界模型提高训练效率。
首尔国立大学研究团队开发了Dynin-Robotics,一种能够理解人类指令、预测行动后场景并执行任务的机器人基础模型。该模型在四项真实世界机器人操作任务中平均成功率达78.4%,超过NVIDIA和Physical Intelligence的对比模型。研究论文已被NeurIPS 2026会议接受,将于12月发表。
推荐理由:通过预测场景来指导行动,Dynin-Robotics 在四项机器人操作任务中达到78.4%成功率,超越NVIDIA和Physical Intelligence模型。
研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。
推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。
研究人员提出WorldStream,一种开放式的3D世界模型,具有三个同时实现的能力:扩展可玩地形超越任何预定义地图、在运行世界中响应开放式语言指令、恢复访问地点及其编辑状态。
推荐理由:通过分层规划和持久状态实现无限扩展的3D世界,突破预定义地图限制,为开放世界交互提供新思路。
研究通过持续预训练(CPT)探索数据量、多样性和模型规模对具身智能体在虚拟世界中的性能影响,覆盖0.8B至27B参数模型、50至1600小时数据及多世界混合训练。结果显示数据量提升同领域性能,多样性增强相关世界迁移能力,模型规模提高数据效率但远距离泛化受限;模型在3D世界中与专业模型竞争,实时表现最佳。
Physical AI 结合数据与世界模型实现机器人自主决策,支持具身智能任务。该技术依赖物理交互数据训练,构建环境认知能力,推动机器人从预设程序向自适应行为演进。
2026年10月19日,医疗健康世界模型分会场在南京举行,汇聚院士专家和产业代表,围绕疾病状态演变、干预响应推演等关键问题展开交流。分会场发布了医疗世界模型高质量数据集、一体机、专病模型等六方面创新成果,推动医疗人工智能从回答问题走向推演病程变化。
张建伟院士指出,汽车产业正从ChatGPT向CarGPT(汽车端到端世界模型)演进,这将定义未来智能汽车品牌的核心竞争力。
大晓机器人发布视觉空间锚定增强型具身基模型 ACE-Brain-0.6,基于 Qwen3.5-9B 进行监督微调,在八项 Grounding 评测中有六项超过 OpenAI GPT-6 Astra,真实机器人场景评测 RobotGrounding 得分 94.13 分。
推荐理由:国产模型在空间感知评测中超越国际巨头,具身智能赛道正迎来技术突破期。
X-Humanoid 公布统一具身模型与自进化机器人政策路线图。该路线图聚焦于构建多模态感知与自主决策能力。
VAST开源实时世界模型EdenLive,在单张消费级显卡Nvidia RTX 5090上、720P条件下,5B模型生成速度超过24FPS,支持分钟级连续生成。该模型实现了任意参考输入、任意画风生成和长时连续运行,开放了模型权重、推理代码、技术报告和端到端Demo。
推荐理由:EdenLive实现了单消费级显卡上的实时世界模型生成,为交互内容提供高质量视觉渲染。
研究人员提出WildAWM,一种可扩展的管道,用于合成训练通用计算机使用智能体的可控环境和任务。该环境支持图形用户界面、模型上下文协议服务和命令行接口,完全由开源模型驱动。团队合成了341个长时程环境-任务对,训练后的Qwen模型在8个分布外基准测试中取得显著提升。代码已公开。
推荐理由:通过合成环境训练计算机使用智能体,解决了真实世界交互的安全与扩展难题,验证了开源模型也能构建高质量训练环境。
研究提出 JEPA 潜在世界模型可解释性需从解码表征转向理解变量交互与因果驱动,规划 Ground、Structure、Verify、Act 四阶段研究议程。现有工作仅初步验证 Ground 阶段,潜在结构分析、因果验证与干预仍待探索。该框架旨在推动可操作潜在世界理解,从表征解码转向世界建模、验证与行动。
Guanchen Du提出HIJP框架,通过逆向模型和潜在预测模型的交替应用,在视觉控制任务中实现了86.8%的整体成功率,并比基于搜索的规划速度提升1.9-16.5倍。该方法通过重标记未来观察作为目标,提供跨时间范围的动作监督,并确保动作转换一致性。
Chenyuan Zhou等人提出T2-Z方法,通过测试时优化环境隐变量来增强机器人世界模型。该方法在7个模拟环境和4个真实机器人任务中,将物体预测误差从15.20降至7.00,动作成功率从33.73%提升至72.96%。T2-Z能够从单次测试交互轨迹中高效推断环境隐变量,捕捉多样化视觉场景中个体和复合因素的结构化表示。
推荐理由:T2-Z通过测试时优化环境隐变量,显著提升了机器人在新环境中的预测准确性和任务成功率。
作者提出P³-WAM模型,通过感知、预测和规划三种互补模式实现自我中心灵巧操作,整合紧凑的3D动作表示到预训练视频扩散变换器中,实验显示统一训练提升了所有三种能力,在3D手重建和动作条件视频预测任务上优于专用基线。
推荐理由:论文提出了统一的世界行动模型,通过三种互补模式实现3D感知、预测和规划,在多个数据集上表现优于专用基线。
GeoState 提出视图解耦的几何表示,分离场景状态与相机依赖观测,在 Waymo 上超越现有 3D 世界模型,支持跨视图几何一致性查询,并零样本泛化至 KITTI 和 nuScenes。
Dyna Robotics发布了Dyna-2物理智能体机器人,该机器人基于预训练超过一百万小时人类视频的世界行动模型,已在酒店和餐厅实现实际部署,能够执行长达一小时的自主工作流程,如折叠餐巾和切菜。机器人采用半人形设计,结合轮式底盘与类人上身,通过扩散变压器架构实现连续动作预测,并能通过少量演示数据快速适应新任务。
推荐理由:从百万小时人类视频预训练到酒店餐厅实际部署,Dyna Robotics展示了物理智能体从实验室到生产环境的跨越。