跳到正文
10月19日周一
  1. HuggingFace Daily Papers75

    SpatialScout: VLM 智能体能主动探索并映射 3D 场景吗?

    研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。

    推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。

10月18日周日
  1. 钛媒体80

    数学的“第四次危机”:从不可说,到无可说

    杨健教授系统梳理了数学历史上的四次危机,分析了AI对数学本质的挑战与影响。文章指出,当前AI在数学领域的应用引发了关于证明定义、可理解性和数学本质的深刻讨论,数学家担忧AI可能改变数学的人文本质,但也认为AI可能降低数学门槛,促进数学发展。

    推荐理由:文章系统梳理了数学四次危机,分析了AI对数学本质的挑战与影响。

  2. 钛媒体75

    中美AI竞争新变量:开源、算力与产业生态

    中美AI竞争重心从模型能力转向推理成本、开发者生态、企业部署和规则制定能力,开源与闭源之争背后是商业逻辑与产业生态的深层博弈。中国开放权重模型形成数字世界与实体产业相互强化的循环,美国科技产业内部对开放权重态度分化,蒸馏争议将竞争推向知识产权和规则层面。

  3. 华尔街见闻40

    本周重磅日程:中国GDP、金融街论坛与APEC财长会、英伟达GTC、特斯拉Meta与宁德时代财报

    中国10月19日公布三季度GDP及9月工业、社零等经济数据,金融街论坛年会同日在京开幕,APEC财长会首度在香港举行。英伟达GTC柏林开幕,黄仁勋21日发表主题演讲,德国总理默茨19日晚与其会面。特斯拉、Meta、宁德时代等公司财报密集发布。

  4. HuggingFace Daily Papers65

    BiDex-100: 双灵巧手操作综合基准

    研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。

    推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。

  5. HuggingFace Daily Papers65

    AffordanceWAM: 面向机器人操作的可 affordance 感知联合世界-动作建模

    研究人员提出 AffordanceWAM,一种可 affordance 感知的生成式世界-动作模型,通过标量 affordance 和 affordance 热图表示物体中心的时空 affordance。

    推荐理由:通过可 affordance 表示法连接人类与机器人视频数据,实现了无需人类动作标签的跨模态迁移学习。

  6. HuggingFace Daily Papers75

    Vision as Proprioception: Estimating Humanoid Robot Pose from Video

    研究人员提出HumanoidPose框架,通过视频单独估计人形机器人的全身关节配置,结合预训练人体姿态特征与机器人运动学,将人体动作重定向到16种不同人形机器人上,并在三个真实人形平台上将关节角度误差降低了18-32%。

    推荐理由:将视觉作为本体感觉来估计人形机器人姿态,解决了在线视频缺乏关节配置的问题,提升了跨平台泛化能力。

  7. HuggingFace Daily Papers65

    VLA-Rolling: 通过自适应动作重用实现更少去噪步骤和更好控制

    研究人员提出 VLA-Rolling 框架,通过重用动作尾部减少去噪步骤,在 LIBERO、MetaWorld 等基准测试上实现了最高 1.48 倍加速和 15.08 个百分点的成功率提升。

    推荐理由:通过重用被丢弃的动作尾部,VLA-Rolling 实现了更高效的推理,在降低计算成本的同时提高了成功率。

  8. HuggingFace Daily Papers65

    TILDE:从具身基础模型进行教师循环蒸馏

    研究人员提出TILDE方法,通过结合学生诱导状态下的在线蒸馏和教师执行恢复轨迹学习,将具身基础模型的能力迁移到无需动作预训练的策略中。该方法还包含AutoDAgger自主数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,相比人工监控方法加速恢复轨迹收集超过2倍。在三个真实世界任务中,TILDE相比行为克隆将任务性能提高了最高4.1倍,并支持有效的跨架构蒸馏。

    推荐理由:TILDE通过教师模型与自主数据收集的结合,将具身基础模型的能力迁移到无需动作预训练的策略中,解决了机器人数据收集效率问题。

  9. arXiv · cs.RO75

    DiPLO: 自蒸馏扩散规划用于人形机器人 locomotion 操作

    研究人员提出 DiPLO 框架,结合自蒸馏扩散规划器与低级别全身跟踪策略,解决了人形机器人 locomotion 操作的协调难题。该框架通过 SD:DPO 移除规划器对强任务条件的依赖,再使用 DA:PPO 微调模型,在拾取-携带-放置任务中实现99%的任务成功率,并在宇树 G1 机器人上成功部署。

    推荐理由:通过自蒸馏扩散规划与全身跟踪策略结合,解决了人形机器人 locomotion 操作难题,实现99%任务成功率。

  10. arXiv · cs.RO65

    SARAM:面向机器人终身学习的稀疏适配器分配与复用合并方法

    SARAM提出了一种终身学习框架,通过复用冻结适配器和仅在选定层引入新适配器,限制存储增长同时保持GPU内存和推理成本与任务流长度无关。在四个LIBERO套件中,SARAM匹配或超过基于适配器的方法,同时每个任务减少最多4.5倍的磁盘状态。在真实UR5机械臂上的实验进一步验证了其在顺序任务流中的保留能力。

    推荐理由:通过复用和稀疏分配适配器,SARAM解决了机器人终身学习中存储和部署成本随任务增长的问题。

  11. arXiv · cs.RO45

    视觉语言模型成功监控中的覆盖偏移研究

    研究发现,机器人策略改进后,视觉语言模型对失败案例的监控敏感性反而降低。在20次托盘放置实验中,成功率从66.8%升至97.0%,但剩余悬停失败被接受的比例从31.1%升至50.0%,这些失败多发生在托盘边缘下方,可能被遮挡。该现象被称为"覆盖偏移",表明任务改进与失败可检测性并非同步提升。

  12. arXiv · cs.RO65

    学习结构化运动参考以实现基于优化的全身控制

    该研究提出了一种分层控制器,其中强化学习适应结构化运动参考,而步态调度器、反应性步态规划器和全身冲量控制器负责高频执行。在六方向干扰课程训练下,该控制器在测试干扰网格中达到77.29%的平均生存率,比基于模型的参考控制器高出27个百分点。

    推荐理由:通过分层控制将强化学习与优化控制结合,四足机器人抗干扰生存率提升27个百分点。

10月17日周六
  1. arXiv · cs.RO65

    EndoVLA-OOV:机器人内窥镜中语言条件下的视野外目标获取

    研究人员提出EndoVLA-OOV,一种用于机器人内窥镜视野外目标获取的语言条件视觉-语言-动作策略。该策略在跨 embodiment 评估中达到93.3%的目标获取成功率,数据集从312扩展到1050个片段后,成功率从40.0%提升到90.0%。研究团队提供了包含约262k观测-动作对的开源VLA数据集。

    推荐理由:语言条件下的视野外目标获取在机器人内窥镜中实现93.3%成功率,展示了语言引导与任务演示扩展的价值。

  2. arXiv · cs.RO55

    视觉-语言-动作模型的关系空间对齐

    Chaoran Zhu提出了一种关系空间对齐方法,用于解决视觉-语言-动作(VLA)模型中直接对齐3D基础模型导致的特征坍缩问题。该方法通过关注点对关系而非点对点对齐,有效将3D空间理解注入VLA模型,在公共基准、新空间推理基准和实际操作场景中均表现出鲁棒性能和增强的空间感知能力。

  3. arXiv · cs.RO70

    Action-Aligned Latent Planning for Versatile Humanoid Loco-Manipulation

    研究人员提出FIBER框架,使用冻结行为基础模型的潜在空间作为人形机器人多样化操作的共享规划表示。在模拟和真实Unitree G1人形机器人上的实验表明,该框架在箱体拾取、门开启和物体抓取任务中取得了42.0%的平均成功率,显著优于传统运动学规划方法。

    推荐理由:通过冻结行为基础模型的潜在空间实现多样化人形机器人操作,成功将多种技能整合为统一规划器。

  4. arXiv · cs.RO65

    RoMo-GS: 通过曝光积分运动模糊实现高效的机器人在线 3D 高斯溅射

    Sangwoo Jung 提出 RoMo-GS,一种解决机器人快速移动导致运动模糊问题的在线 3D 高斯溅射系统。该系统通过曝光积分处理运动模糊,使用基于 Hessian 的剪枝分数限制高斯数量增长,并在多个数据集上实现了比离线去模糊 3DGS 方法快 15-150 倍的性能,同时比在线 3DGS 基线少约 20% 的高斯数量。

    推荐理由:通过曝光积分处理运动模糊,RoMo-GS 实现了在线 3D 高斯溅射,在保持质量的同时大幅提升效率。

  5. arXiv · cs.RO75

    基于规则图规划的LLM机器人安全任务完成方法

    Ali Taheri提出RuleGraph框架,通过多智能体规则图规划使LLM-enabled机器人能够拒绝有害指令同时完成合法任务。该方法在RoboGuard基准测试上达到98.57%的任务成功率,同时将攻击成功率降至0%。

    推荐理由:通过多智能体规则图规划,让机器人在拒绝有害指令的同时完成合法任务,解决了复合指令中的安全难题。

  6. arXiv · cs.RO65

    场景自适应VLA:通过动态层路由实现高效自动驾驶

    Yujia Yang提出Scene-Adaptive VLA框架,利用动态层路由根据实时场景调整活跃参数,在Bench2Drive基准测试中,将先进VLA模型的推理计算开销降低53.5%,同时保持驾驶和语言能力几乎不受影响。代码已开源于GitHub。

    推荐理由:通过动态层路由将计算开销降低53.5%,为车载VLA模型提供实时推理新思路。

  7. arXiv · cs.RO70

    LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试

    Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。

    推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。

  8. arXiv · cs.RO75

    LIBERO-Dynamic: 动态环境中的机器人操作基准测试

    Shaojie Ren 等人提出 LIBERO-Dynamic,这是对 40 个 LIBERO 任务的动态扩展,通过接触摩擦驱动物体运动,并考虑模型特定的推理延迟。研究评估了六种预训练策略在 1,800 种动态条件下的表现,比较了执行策略和动作范围,并使用动态和混合数据对三种架构进行了微调。物理实验显示任务相关的执行策略差异与模拟结果一致。

    推荐理由:LIBERO-Dynamic 基准首次将物体运动、推理延迟和动作执行纳入机器人操作评估,揭示了动态环境对策略性能的非均匀影响。

  9. arXiv · cs.RO75

    Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts

    研究仅依靠关节位置和速度感知(无视觉、力、力矩或触觉)的机器人装配策略,通过强化学习训练,成功实现销插入、齿轮啮合和螺母螺纹装配,并在真实世界中达到73%的零样本迁移成功率。研究还发布了开源程序化生成器,用于创建精确的凸形零件装配模拟。

    推荐理由:仅依靠关节 proprioception 实现毫米级装配,零样本迁移成功率73%,证明本体感知在精密装配中的潜力。

  10. arXiv · cs.RO65

    StopWatch: 物体导航中的目标定位

    Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。

    推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。

  11. arXiv · cs.RO75

    Self-Building Labs:自主构建实验室系统

    Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。

    推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。

  12. arXiv · cs.RO65

    并非所有动作贡献相等:从非精确演示中学习精确进度估计

    Huanqian Wang提出PRIME方法,通过构建加权图和最短路径搜索,从非精确的人类演示中学习精确的进度估计,在仿真和真实世界的高精度操作任务中表现出色,在充电器插入任务上比SFT基线方法提高5倍成功率。

    推荐理由:从人类不完美演示中学习进度评估,PRIME方法解决了高精度操作中错误动作干扰奖励信号的问题。

10月16日周五
  1. arXiv · cs.RO75

    学习机器人元推理:实时控制的自适应计算预算

    本文提出了一种将最优计算预算识别为半马尔可夫决策过程的方法,训练强化学习策略根据当前状态、执行计划和规划器统计信息动态调整计算时间。该方法在地面机器人导航、敏捷四旋翼飞行和接触密集操作任务中均优于固定基准方案。

    推荐理由:将计算预算优化建模为半马尔可夫决策过程,让机器人根据场景动态调整推理资源,解决了固定预算在关键场景下的局限性。

  2. arXiv · cs.RO65

    Foundation-Model-Driven 3D Scene Graphs for Mobile Manipulation

    本文将FOUND-IT集成到移动操作平台,展示了基础模型驱动的3D场景图在物体变化检测、多映射会话支持、导航路径规划和物体抓取等任务中的有效性。代码已在GitHub开源。

    推荐理由:将基础模型驱动的3D场景图集成到移动操作平台,验证了其在物体变化检测、导航路径规划和抓取任务中的实用性。

  3. arXiv · cs.RO65

    LIBERO-PeRM: 个性化机器人操作基准测试

    Zhixu Li等人提出LIBERO-PeRM基准测试,专注于具身智能体的偏好学习,包含312个任务和五个研究问题,评估当前VLA策略在零样本个性化、偏好学习和冲突处理等方面的表现。

    推荐理由:论文提出了首个针对个性化机器人操作的基准测试LIBERO-PeRM,填补了该领域评估空白。