CW-WAM:一种用于力敏感操作的结构化接触力矩世界动作模型
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Yunhao Luo 提出 PhysiCalWorld 方法,通过上下文提示而非微调或物理建模来校准世界模型的实例特定动力学。该方法将探索性交互片段编码为紧凑的物理描述符令牌,显著提高了滚动预测准确性和视觉规划成功率,并在训练物理范围之外表现出泛化能力。
推荐理由:通过上下文提示而非微调实现世界模型的物理校准,为具身智能提供了更准确的场景预测能力。
Zhuoyang Liu等人提出AW-0框架,将代码规划与视频、动作预测整合为三个耦合的生成流,在RoboTwin 2.0和双臂操作任务中表现优于VLA和WAM基线模型。
推荐理由:AW-0框架首次将代码规划与视频、动作预测耦合,为机器人提供了可复用的技能库,弥合了预测与执行间的鸿沟。
研究人员提出Harness Scaling方法,通过多样化训练配置提升智能体强化学习的泛化能力。该方法构建因子化harness空间,选择平衡训练子集,并组织跨harness训练,在多个基准测试中显著提高了模型对未见配置的泛化性能。
研究人员提出ALPS,一种预训练的视觉状态编码器,能够统一物理状态信息、原生语言对齐和像素重建三种能力。在LIBERO评估中,ALPS在ViT-B模型中实现了最低的聚合状态探测误差,同时保持了强大的语言对齐和准确的像素重建能力。
推荐理由:ALPS通过统一物理状态、语言对齐和像素重建三种能力,为世界模型提供了更全面的视觉基础。
Rodion Shkokov提出AOV-GS系统,使用冻结的SAM和CLIP模型引导机器人探索,构建支持开放词汇语义查询的3D地图。在Replica和Matterport3D数据集上,该方法相比纯几何主动规划提升了语言场mIoU 1.3-1.8个百分点,同时保持新视角PSNR相当。代码已公开。
推荐理由:冻结基础模型引导机器人探索,无需人工标注即可构建开放词汇语义地图,提升语义查询能力。
该论文提出PRISM框架,将深度噪声解耦为感知失效和测量不准确两种模态,利用3D视觉基础模型特征作为空间语义先验。实验表明,PRISM在嘈杂深度合成中达到最先进保真度,并在下游机器人实验中实现92.1%的平均成功率。
推荐理由:将深度噪声解耦为感知失效和测量不准确两种模态,为机器人在真实世界中的感知提供了新思路。
本文提出SERA(Self-Evolving Robotic Agent)方法,通过可编辑的harness将视觉语言动作模型转化为机器人智能体,在RoboMME基准测试中实现了51.38%的自主选择成功率,比无自我进化提高了7个百分点。该方法利用环境rollouts来提议和评估harness修订,解决了长时程任务中的非马尔可夫依赖问题。
同一件事,精选收录的是《从视觉语言模型规划器到机器人智能体:面向历史依赖操作的自进化框架》
研究综述提出具身 AI 的显式意图框架,旨在提升人形机器人的任务执行能力。该框架通过明确目标导向行为,优化机器人在复杂环境中的决策效率。
ConfigWM 通过任务条件化状态提取实现可配置感知,在噪声环境中保持稳定的规划成功率,平均领先最强竞争方法 22.3%。物理量探测提升 Pearson r 0.365,分心环境到干净环境的检索准确率提升 75.5%。
研究人员提出HarnessAdapt-RL方法,在强化学习过程中同时训练智能体策略并适应其工具链。在9B基础模型上,该方法在SWE-bench Verified、Multilingual和Pro基准上分别比GRPO提高9.8、12.6和6.4个百分点,优于人工设计的OpenHands工具链。机制级技能的提升在评估后移除仍能保持,但部署时移除工具和 hooks 会损失最多7.7个百分点性能。
推荐理由:训练智能体时同时优化模型与工具链,比单独训练模型提升近10个百分点,但部署时需移除部分技能以保持性能。
千诀科技在2026物理AI与世界模型大会上发布预测式世界模型Polibrain,该模型专注于物理规律理解而非画面预测,已在四足、人形、轮式、双臂等机器人形态上开展适配。Polibrain通过多项式表征和因果记忆机制,实现跨本体智能能力复用,为不同形态机器人提供共享的智能大脑。
推荐理由:不堆画面预测,专注物理规律与跨本体复用,千诀Polibrain为机器人提供共享智能大脑。
生数科技世界模型团队开启Motubrain 2.0训练全流程公开直播,计划持续半个月,向公众展示具身模型的训练过程及研究进展。此次直播将涵盖预训练、后训练、Agent任务执行和RSI探索四个环节,旨在打开具身模型训练的'黑盒',让外界看到模型如何逐步形成能力。
文章探讨了Token作为智能计量单位的经济意义,分析了算力从硬件配置转向词元生成效率的转变,以及模型与端侧协同对具身智能的影响。截至2026年6月,我国日均词元调用量已突破500万亿,不同模型采用峰谷定价策略,而算力效率需综合考虑吞吐量、延迟和能耗等多指标。
推荐理由:Token经济学正成为智能服务的计量单位,但算力、模型和语料的协同效率才是产业化的关键。
生数科技世界模型团队于10月21日开启Motubrain 2.0训练全流程公开直播,计划持续半个月,展示具身模型的训练过程及研究进展。此次直播将涵盖预训练、后训练、Agent任务执行和RSI探索四个环节,旨在打开具身模型训练的'黑盒',让外界了解模型如何逐步形成能力。
Slot-JEPA 将密集表示分解为稳定语义槽和时变空间掩码,提供可重用的对象结构化接口。其 Transition Memory Predictor 存储视觉转换为紧凑掩码,通过槽统计检索上下文;Unbalanced Optimal Transport 监督掩码预测并评估候选计划。在七个视觉理解基准和 REALM-JEPA 的六项平面环境及四项机械臂规划任务中表现提升。
OverSeer 引入固定辅助视图增强多智能体世界模型的一致性,在 Minecraft 和 Doom 实验中显著改善世界与智能体状态同步,并通过 delta-VAE 压缩技术降低计算开销。
研究人员提出Agent S4,一种自主计算机使用科学家,能从任务经验中构建进化型智能体界面。在OSWorld V2测试中,使用Qwen3.8-27B和进化界面的Agent S4达到21.3%二进制分数,是相同模型固定界面的3.8倍,性能超越GPT-5.5(13.0%)和Claude Opus 4.8(20.6%),且成本仅为两者的4.3%和1.5%。
推荐理由:让智能体自主进化界面设计,比固定接口提升3.8倍性能,且成本仅为GPT-5.5的4.3%
模型公司集体下注具身智能,但尚未突破技术瓶颈。具身智能在人形机器人领域的应用仍面临挑战,行业仍处于探索阶段。
Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。
推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。
SuperMimic提出了一种新方法,使用单一可微分世界模型拟合共享动力学,与跟踪策略共同训练,在3小时内超越传统方法7天训练效果,将GPU训练时间减少1000倍以上。该方法在129,514个基准动作中仅失败25个,9.8小时后实现零失败,并能成功迁移到宇树G1物理机器人上。
推荐理由:用单一可微分世界模型替代传统强化学习,将训练成本降低千倍,为机器人控制研究开辟新路径。
研究人员提出REACT框架,用于从人-人演示中学习可部署的人形-人交互策略。该框架利用VLM引导的接触建模和重定向管道识别语义上有意义的接触,并将其转移到人形-人几何结构上,同时通过生成式伙伴状态建模预测遮挡视图中的伙伴运动。在模拟和宇树G1人形机器人上的测试表明,该方法在五个接触丰富的交互中表现良好,且完全依靠机载传感器工作。
推荐理由:通过VLM引导的接触重定向和生成式伙伴建模,解决了人形机器人在与人交互时的部分可观察性问题,实现了完全依靠机载传感器的接触丰富交互。
CoGaussian 提出开放词汇协同语义占用预测框架,通过基础模型对齐的稀疏3D高斯表示多智能体几何与语义信息融合。在 Semantic-OPV2V 基准上超越现有开放词汇单智能体方法,提升多机器人系统场景理解能力。
研究人员提出PhysCanvas,一种统一多模态的视觉触觉世界模型,用于接触密集型机器人操作。该模型整合多视角RGB、触觉图像、标记位移、任务状态和动作,通过一致性感知后训练将世界模型与真实世界成功率的相关性从0.602提升至0.885,并将策略在真实世界中的成功率从59.1%提升至70.8%。
推荐理由:通过统一视觉与触觉模态建模,PhysCanvas将机器人策略评估与学习的成功率相关性提升至88.5%,解决了仿真与真实世界接触动力学不一致的难题。
作者提出Planning Under Noise (PUN)神经算子,用于在不确定控制执行噪声下进行规划。该方法通过学习噪声感知的价值场,解决了传统方法在复杂几何环境中导航的挑战。
推荐理由:通过神经算子解决控制噪声下的规划问题,在4D场景下实现95-100%成功率且速度领先。
研究人员提出 UniWALM,一种统一的世界-动作-语言模型,在单一共享表征中学习视频、动作和语言。该模型在组合式抓取放置任务中表现优于基线模型,在真实世界的找物品任务中成功率从 11.1% 提升至 61.1%。
推荐理由:通过语言-感知-动作的统一表征,UniWALM 在机器人控制任务中实现了记忆依赖行为,无需外部规划器。
Noam Rotstein提出了一种新模型,能够协同生成任意骨骼结构的3D运动与视频,并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于文本描述,且运动能响应周围场景。
推荐理由:通过分离运动模型与视频模型,实现了任意骨骼结构的3D运动与视频的协同生成,解决了现有方法仅支持人类骨骼或参数量过大的问题。
研究团队提出 Video-Point Model (VPM),一种基于多视角视频和语言指令的4D世界模型,可预测未来视频和3D点轨迹。VPM-Data 数据集和 VP-WorldBench 评测基准支持训练,点监督提升视频保真度和3D运动准确性。机器人控制扩展中,动作令牌与视频联合去噪,提高模拟和真实机器人操作成功率。
Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。
研究通过 HighwayEnv 测试台(1Hz, gpt-4o-mini)评估 LLM 驾驶智能体的经验记忆,发现预热池随机性显著影响结果,15-token 警示指令可达到无记忆基线性能,且基线移植质量会反转结论。
AWLS 通过优势加权动作重建目标训练残差噪声整形器,改进冻结的单步生成式机器人操作策略,在模拟和真实机器人操作任务中优于基础策略且限制行为漂移。该方法无需更新解码器,保持快速单步推理,并采用无回滚解码器敏感性准则选择预训练检查点。
研究通过让视觉语言模型模拟儿童数指动作,在9个模型、682张图像和7种测试条件下发现,模型的精确计数范围差异显著(R80从3到150点);标记作为干预手段仅对4个模型在小规模计数照片中有效,但作为测量工具可追踪模型推理过程;模型遵循指令遍历顺序却常因顺序反转改变答案,与儿童行为存在差异。
研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。
推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。
Haocheng Wang等人提出RoboCasa-Shift基准,用于评估视觉-语言-动作(VLA)策略在分布变化下的鲁棒性。研究在GR00T N1.5模型上测试了四个长时序任务,发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。研究表明VLA鲁棒性应被视为执行的多维特性,而非单一的端到端性能指标。
研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。
推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。
本文提出了一种验证引导的训练框架,通过概率枚举安全约束来检测前向不变性违规,生成比标准对抗攻击方法更精确的失败边界反例。在Isaac Sim环境和真实自动驾驶赛车实验中,该安全过滤器实现了零安全约束违规,相比传统控制器和LQR备份策略表现更优。
研究人员提出Lafa模型,一种80亿参数规模的连续流语言模型,采用块状流设计和因果注意力机制,仅需不到300亿token即可完成训练。该模型在指令跟随、推理和编码任务上表现优于自回归模型,并通过自推测解码方案实现了2.54倍的吞吐量提升。
研究人员提出SolarRenderer,一种结构条件视频渲染器,通过冻结MiniMax-H3 33B主干模型并使用两个轻量级LoRA适配器,实现了四步渲染,比50步采样快12.3倍。该模型在136K帧对齐语料上训练,可在16种结构表示上达到最先进结果,并能泛化到11种未见表示,包括姿态骨架、绘图和点云。
推荐理由:四步渲染比传统方法快12.3倍,同时保持对11种新结构表示的泛化能力,为实时视频生成开辟新路径。
Sage-A1.5是一个35B参数的混合专家智能体模型,在A1基础上通过自适应能力组合提升长周期问题解决能力。该模型具有三大改进:智能体编排、验证和开放科学发现,支持任务分解、并行协作、进度检查和策略修订,并能进行探索性科学研究。
推荐理由:通过能力组合实现长周期任务执行与科学探索,Sage-A1.5展示了智能体协作与验证的新路径。