跳到正文
10月24日周六
  1. 钛媒体85

    GPT-6 Astra如何改写Agent、机器人与制药领域

    硅谷101邀请三位一线研究者探讨GPT-6 Astra对三个领域的影响。许华哲认为Astra对机器人是飞跃式提升,但速度慢且缺乏物理直觉;朱哲清指出个人Agent商业化面临API限制和身份验证难题;王晟表示Astra在AI制药中能设计实验方案,但真实实验验证仍是瓶颈。

    推荐理由:GPT-6 Astra同时冲击机器人、个人Agent和AI制药三大领域,但各领域面临的瓶颈截然不同:机器人需要速度与直觉,Agent需要身份验证,制药需要实验闭环。

10月23日周五
  1. arXiv · cs.RO70

    Humanoid Mobility via Attention-based Contacts

    Junzhe He提出了一种学习框架,通过基于注意力的接触规划器和接触条件跟踪器,让人形机器人在复杂地形上实现自然协调运动。该框架结合了强化学习和参考方法的优势,使用运动数据作为训练先验,同时保持通过强化学习探索环境相关行为的能力。

    推荐理由:基于注意力的接触规划器将运动数据作为训练先验,让人形机器人在复杂地形上实现自然协调运动。

  2. arXiv · cs.RO65

    DiffDreamer: 耦合世界模型与可微分仿真实现敏捷四旋翼控制

    研究人员提出DiffDreamer框架,将学习到的世界模型与可微分仿真紧密结合,用于四旋翼动态门竞速等任务。该方法通过分解目标函数,分别处理不可微分的任务奖励和可微分的运动奖励,实验显示其在训练收敛速度和最终性能上优于多种基线方法。

    推荐理由:将世界模型与可微分仿真耦合,解决了四旋翼控制中环境动态与机器人自身动态的耦合问题,提升了训练收敛速度和最终性能。

10月22日周四
  1. NVIDIA Blog83

    NVIDIA发布Cosmos平台新工具,支持训练、评估和部署世界模型

    NVIDIA扩展了Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,帮助开发者构建物理AI系统的世界模型。平台提供多模态数据处理、模型微调和优化工具,并已应用于自动驾驶、工业检测等领域。

    推荐理由:从数据工厂到模型训练再到部署,NVIDIA Cosmos构建了完整的世界模型开发流水线,工业应用已开始验证其价值。

  2. arXiv · cs.RO75

    ASTEROID:不对称在线策略蒸馏学习上下文探索

    Sriyash Poddar 提出 ASTEROID 框架,通过学生-教师监督学习让机器人在部分可观测环境中学习测试时探索。该方法在11种不同环境中表现优异,返回率提高约2倍,交互次数比强化学习减少约100倍,在仿真到真实机器人操作中成功率提升40%。

    推荐理由:ASTEROID 框架通过不对称在线策略蒸馏,让机器人在不确定环境中高效探索,比强化学习减少99%交互次数。

  3. arXiv · cs.RO70

    CW-WAM:一种用于力敏感操作的结构化接触力矩世界动作模型

    Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。

    推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。

  4. arXiv · cs.RO70

    PhysiCalWorld: 基于上下文物理校准的世界模型

    Yunhao Luo 提出 PhysiCalWorld 方法,通过上下文提示而非微调或物理建模来校准世界模型的实例特定动力学。该方法将探索性交互片段编码为紧凑的物理描述符令牌,显著提高了滚动预测准确性和视觉规划成功率,并在训练物理范围之外表现出泛化能力。

    推荐理由:通过上下文提示而非微调实现世界模型的物理校准,为具身智能提供了更准确的场景预测能力。

  5. arXiv · cs.RO65

    AOV-GS: 基于3D高斯溅射的主动开放词汇语义映射

    Rodion Shkokov提出AOV-GS系统,使用冻结的SAM和CLIP模型引导机器人探索,构建支持开放词汇语义查询的3D地图。在Replica和Matterport3D数据集上,该方法相比纯几何主动规划提升了语言场mIoU 1.3-1.8个百分点,同时保持新视角PSNR相当。代码已公开。

    推荐理由:冻结基础模型引导机器人探索,无需人工标注即可构建开放词汇语义地图,提升语义查询能力。

  6. arXiv · cs.RO70

    PRISM:通过物理驱动的噪声解耦与语义几何协作学习真实深度

    该论文提出PRISM框架,将深度噪声解耦为感知失效和测量不准确两种模态,利用3D视觉基础模型特征作为空间语义先验。实验表明,PRISM在嘈杂深度合成中达到最先进保真度,并在下游机器人实验中实现92.1%的平均成功率。

    推荐理由:将深度噪声解耦为感知失效和测量不准确两种模态,为机器人在真实世界中的感知提供了新思路。

10月21日周三
  1. arXiv · cs.RO65

    CLOSER: 基于证据感知的主动视觉验证具身物体目标导航

    Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。

    推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。

  2. arXiv · cs.RO85

    SuperMimic: 通过单一可微分世界模型扩展人形机器人全身控制

    SuperMimic提出了一种新方法,使用单一可微分世界模型拟合共享动力学,与跟踪策略共同训练,在3小时内超越传统方法7天训练效果,将GPU训练时间减少1000倍以上。该方法在129,514个基准动作中仅失败25个,9.8小时后实现零失败,并能成功迁移到宇树G1物理机器人上。

    推荐理由:用单一可微分世界模型替代传统强化学习,将训练成本降低千倍,为机器人控制研究开辟新路径。

  3. arXiv · cs.RO75

    PhysCanvas:面向机器人策略评估与学习的视觉触觉世界模型

    研究人员提出PhysCanvas,一种统一多模态的视觉触觉世界模型,用于接触密集型机器人操作。该模型整合多视角RGB、触觉图像、标记位移、任务状态和动作,通过一致性感知后训练将世界模型与真实世界成功率的相关性从0.602提升至0.885,并将策略在真实世界中的成功率从59.1%提升至70.8%。

    推荐理由:通过统一视觉与触觉模态建模,PhysCanvas将机器人策略评估与学习的成功率相关性提升至88.5%,解决了仿真与真实世界接触动力学不一致的难题。

  4. arXiv · cs.RO65

    Planning under Noise with Neural Operators:在噪声环境下使用神经算子进行规划

    作者提出Planning Under Noise (PUN)神经算子,用于在不确定控制执行噪声下进行规划。该方法通过学习噪声感知的价值场,解决了传统方法在复杂几何环境中导航的挑战。

    推荐理由:通过神经算子解决控制噪声下的规划问题,在4D场景下实现95-100%成功率且速度领先。

  5. arXiv · cs.RO65

    Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

    Noam Rotstein提出了一种新模型,能够协同生成任意骨骼结构的3D运动与视频,并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于文本描述,且运动能响应周围场景。

    推荐理由:通过分离运动模型与视频模型,实现了任意骨骼结构的3D运动与视频的协同生成,解决了现有方法仅支持人类骨骼或参数量过大的问题。

  6. arXiv · cs.RO55

    PanoGraphGS:结合高斯溅射实现全景分割与分层3D场景图统一

    Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。

  7. arXiv · cs.RO70

    多视角潜在动作预训练用于跨具身机器人视频学习

    Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。

    推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。

  8. HuggingFace Daily Papers70

    Self-Distilling Future Video Representations for World Action Models

    研究人员提出FRED框架,通过自蒸馏方法提升世界行动模型(WAMs)的未来视频表示质量。该框架在真实操作场景中表现优异,特别是在长时程和跨领域任务上,零样本泛化能力显著提升,人机技能迁移成功率从19.4%提高到50.0%。

    推荐理由:通过自蒸馏提升未来视频表示质量,使机器人零样本泛化能力提升近2.6倍,人机技能迁移成功率突破50%。

10月20日周二
  1. HuggingFace Daily Papers45

    ActionRoPE: 平面相机游戏世界模型中的空间一致性行动控制

    研究提出 ActionRoPE 接口,将行动驱动的相机位移转换为世界坐标旋转位置,使同一世界位置的 token 保持时间一致性。Coordinate-Conditioned Noise Scheduling 根据已知-新结构分配去噪调度,减少重访漂移 66%。该方法适配 1.3B 至 33B 参数的视频骨干模型,并可迁移至分布外场景。

  2. HuggingFace Daily Papers65

    State World Models: 执行规则,生成像素

    研究人员提出Stateful Harness框架,将世界状态演化与视频渲染分离,构建了WorldState-Bench基准测试。在50组反事实双胞胎对测试中,完整框架使模型在隐藏状态下遵循规则的能力达到92%,远高于单独视频模型的32%。

    推荐理由:将世界状态演化与视频渲染分离,使模型在隐藏状态下遵循规则的能力从32%提升至92%,为具身智能交互提供了新思路。

  3. arXiv · cs.RO70

    RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准

    研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。

    推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。

  4. arXiv · cs.RO45

    PICA-WAM:通过跨外观自对齐提升世界行动模型的视觉扰动不变性

    PICA-WAM 提出一种自监督训练框架,通过跨外观自对齐任务提升世界行动模型(WAM)对任务无关视觉扰动的鲁棒性。在 RoboTwin 2.0、LIBERO-Plus、EBench 和真实机器人测试中,PICA-WAM 显著提升视觉扰动下的成功率,同时保持仿真性能。该框架通过 EMA 教师模型和轻量投影头对齐浅层动作表示,减少视频特征对无关外观的敏感性。

  5. TechXplore · Robotics75

    首尔国立大学开发Dynin-Robotics模型,预测未来场景指导机器人行动

    首尔国立大学研究团队开发了Dynin-Robotics,一种能够理解人类指令、预测行动后场景并执行任务的机器人基础模型。该模型在四项真实世界机器人操作任务中平均成功率达78.4%,超过NVIDIA和Physical Intelligence的对比模型。研究论文已被NeurIPS 2026会议接受,将于12月发表。

    推荐理由:通过预测场景来指导行动,Dynin-Robotics 在四项机器人操作任务中达到78.4%成功率,超越NVIDIA和Physical Intelligence模型。

  6. HuggingFace Daily Papers70

    视觉-语言-动作模型的机制性研究:特征并非平等创建

    研究人员开发了解释性管道研究视觉-语言-动作(VLA)模型的计算机制,发现模型编码的任务指令与绝对工作空间坐标绑定,导致对物体位置微小变化敏感。研究团队发布了Action Atlas平台,包含520+训练好的SAEs、79个识别概念和评分的UR10e回放数据。

    推荐理由:通过激活注入揭示视觉-语言-动作模型对绝对坐标的依赖,解释了为何物体位置微小变化就导致任务失败。

  7. HuggingFace Daily Papers65

    WorldStream: 通过分层规划和持久状态实现流式交互3D世界

    研究人员提出WorldStream,一种开放式的3D世界模型,具有三个同时实现的能力:扩展可玩地形超越任何预定义地图、在运行世界中响应开放式语言指令、恢复访问地点及其编辑状态。

    推荐理由:通过分层规划和持久状态实现无限扩展的3D世界,突破预定义地图限制,为开放世界交互提供新思路。

10月19日周一
  1. HuggingFace Daily Papers75

    SpatialScout: VLM 智能体能主动探索并映射 3D 场景吗?

    研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。

    推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。

10月18日周日
  1. HuggingFace Daily Papers65

    AffordanceWAM: 面向机器人操作的可 affordance 感知联合世界-动作建模

    研究人员提出 AffordanceWAM,一种可 affordance 感知的生成式世界-动作模型,通过标量 affordance 和 affordance 热图表示物体中心的时空 affordance。

    推荐理由:通过可 affordance 表示法连接人类与机器人视频数据,实现了无需人类动作标签的跨模态迁移学习。

  2. arXiv · cs.RO45

    视觉语言模型成功监控中的覆盖偏移研究

    研究发现,机器人策略改进后,视觉语言模型对失败案例的监控敏感性反而降低。在20次托盘放置实验中,成功率从66.8%升至97.0%,但剩余悬停失败被接受的比例从31.1%升至50.0%,这些失败多发生在托盘边缘下方,可能被遮挡。该现象被称为"覆盖偏移",表明任务改进与失败可检测性并非同步提升。

10月17日周六
  1. arXiv · cs.RO70

    LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试

    Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。

    推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。

  2. arXiv · cs.RO65

    StopWatch: 物体导航中的目标定位

    Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。

    推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。

10月16日周五
  1. arXiv · cs.RO75

    学习机器人元推理:实时控制的自适应计算预算

    本文提出了一种将最优计算预算识别为半马尔可夫决策过程的方法,训练强化学习策略根据当前状态、执行计划和规划器统计信息动态调整计算时间。该方法在地面机器人导航、敏捷四旋翼飞行和接触密集操作任务中均优于固定基准方案。

    推荐理由:将计算预算优化建模为半马尔可夫决策过程,让机器人根据场景动态调整推理资源,解决了固定预算在关键场景下的局限性。