BiDex-100: 双灵巧手操作综合基准
研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。
推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。
技术方向
具身智能全赛道追踪:VLA 与世界模型等具身大模型、机器人本体与灵巧手等硬件本体、开源软件与仿真生态、数据与基准。
196 条精选近 30 天 194 条共收录 606 条
研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。
推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。
研究人员提出 AffordanceWAM,一种可 affordance 感知的生成式世界-动作模型,通过标量 affordance 和 affordance 热图表示物体中心的时空 affordance。
推荐理由:通过可 affordance 表示法连接人类与机器人视频数据,实现了无需人类动作标签的跨模态迁移学习。
研究人员提出HumanoidPose框架,通过视频单独估计人形机器人的全身关节配置,结合预训练人体姿态特征与机器人运动学,将人体动作重定向到16种不同人形机器人上,并在三个真实人形平台上将关节角度误差降低了18-32%。
推荐理由:将视觉作为本体感觉来估计人形机器人姿态,解决了在线视频缺乏关节配置的问题,提升了跨平台泛化能力。
研究人员提出 VLA-Rolling 框架,通过重用动作尾部减少去噪步骤,在 LIBERO、MetaWorld 等基准测试上实现了最高 1.48 倍加速和 15.08 个百分点的成功率提升。
推荐理由:通过重用被丢弃的动作尾部,VLA-Rolling 实现了更高效的推理,在降低计算成本的同时提高了成功率。
研究人员提出TILDE方法,通过结合学生诱导状态下的在线蒸馏和教师执行恢复轨迹学习,将具身基础模型的能力迁移到无需动作预训练的策略中。该方法还包含AutoDAgger自主数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,相比人工监控方法加速恢复轨迹收集超过2倍。在三个真实世界任务中,TILDE相比行为克隆将任务性能提高了最高4.1倍,并支持有效的跨架构蒸馏。
推荐理由:TILDE通过教师模型与自主数据收集的结合,将具身基础模型的能力迁移到无需动作预训练的策略中,解决了机器人数据收集效率问题。
研究人员提出 DiPLO 框架,结合自蒸馏扩散规划器与低级别全身跟踪策略,解决了人形机器人 locomotion 操作的协调难题。该框架通过 SD:DPO 移除规划器对强任务条件的依赖,再使用 DA:PPO 微调模型,在拾取-携带-放置任务中实现99%的任务成功率,并在宇树 G1 机器人上成功部署。
推荐理由:通过自蒸馏扩散规划与全身跟踪策略结合,解决了人形机器人 locomotion 操作难题,实现99%任务成功率。
SARAM提出了一种终身学习框架,通过复用冻结适配器和仅在选定层引入新适配器,限制存储增长同时保持GPU内存和推理成本与任务流长度无关。在四个LIBERO套件中,SARAM匹配或超过基于适配器的方法,同时每个任务减少最多4.5倍的磁盘状态。在真实UR5机械臂上的实验进一步验证了其在顺序任务流中的保留能力。
推荐理由:通过复用和稀疏分配适配器,SARAM解决了机器人终身学习中存储和部署成本随任务增长的问题。
该研究提出了一种分层控制器,其中强化学习适应结构化运动参考,而步态调度器、反应性步态规划器和全身冲量控制器负责高频执行。在六方向干扰课程训练下,该控制器在测试干扰网格中达到77.29%的平均生存率,比基于模型的参考控制器高出27个百分点。
推荐理由:通过分层控制将强化学习与优化控制结合,四足机器人抗干扰生存率提升27个百分点。
研究人员提出EndoVLA-OOV,一种用于机器人内窥镜视野外目标获取的语言条件视觉-语言-动作策略。该策略在跨 embodiment 评估中达到93.3%的目标获取成功率,数据集从312扩展到1050个片段后,成功率从40.0%提升到90.0%。研究团队提供了包含约262k观测-动作对的开源VLA数据集。
推荐理由:语言条件下的视野外目标获取在机器人内窥镜中实现93.3%成功率,展示了语言引导与任务演示扩展的价值。
研究人员提出FIBER框架,使用冻结行为基础模型的潜在空间作为人形机器人多样化操作的共享规划表示。在模拟和真实Unitree G1人形机器人上的实验表明,该框架在箱体拾取、门开启和物体抓取任务中取得了42.0%的平均成功率,显著优于传统运动学规划方法。
推荐理由:通过冻结行为基础模型的潜在空间实现多样化人形机器人操作,成功将多种技能整合为统一规划器。
Sangwoo Jung 提出 RoMo-GS,一种解决机器人快速移动导致运动模糊问题的在线 3D 高斯溅射系统。该系统通过曝光积分处理运动模糊,使用基于 Hessian 的剪枝分数限制高斯数量增长,并在多个数据集上实现了比离线去模糊 3DGS 方法快 15-150 倍的性能,同时比在线 3DGS 基线少约 20% 的高斯数量。
推荐理由:通过曝光积分处理运动模糊,RoMo-GS 实现了在线 3D 高斯溅射,在保持质量的同时大幅提升效率。
Ali Taheri提出RuleGraph框架,通过多智能体规则图规划使LLM-enabled机器人能够拒绝有害指令同时完成合法任务。该方法在RoboGuard基准测试上达到98.57%的任务成功率,同时将攻击成功率降至0%。
推荐理由:通过多智能体规则图规划,让机器人在拒绝有害指令的同时完成合法任务,解决了复合指令中的安全难题。
Yujia Yang提出Scene-Adaptive VLA框架,利用动态层路由根据实时场景调整活跃参数,在Bench2Drive基准测试中,将先进VLA模型的推理计算开销降低53.5%,同时保持驾驶和语言能力几乎不受影响。代码已开源于GitHub。
推荐理由:通过动态层路由将计算开销降低53.5%,为车载VLA模型提供实时推理新思路。
Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。
推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。
Shaojie Ren 等人提出 LIBERO-Dynamic,这是对 40 个 LIBERO 任务的动态扩展,通过接触摩擦驱动物体运动,并考虑模型特定的推理延迟。研究评估了六种预训练策略在 1,800 种动态条件下的表现,比较了执行策略和动作范围,并使用动态和混合数据对三种架构进行了微调。物理实验显示任务相关的执行策略差异与模拟结果一致。
推荐理由:LIBERO-Dynamic 基准首次将物体运动、推理延迟和动作执行纳入机器人操作评估,揭示了动态环境对策略性能的非均匀影响。
研究仅依靠关节位置和速度感知(无视觉、力、力矩或触觉)的机器人装配策略,通过强化学习训练,成功实现销插入、齿轮啮合和螺母螺纹装配,并在真实世界中达到73%的零样本迁移成功率。研究还发布了开源程序化生成器,用于创建精确的凸形零件装配模拟。
推荐理由:仅依靠关节 proprioception 实现毫米级装配,零样本迁移成功率73%,证明本体感知在精密装配中的潜力。
Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。
推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。
Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。
推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。
Huanqian Wang提出PRIME方法,通过构建加权图和最短路径搜索,从非精确的人类演示中学习精确的进度估计,在仿真和真实世界的高精度操作任务中表现出色,在充电器插入任务上比SFT基线方法提高5倍成功率。
推荐理由:从人类不完美演示中学习进度评估,PRIME方法解决了高精度操作中错误动作干扰奖励信号的问题。
本文提出了一种将最优计算预算识别为半马尔可夫决策过程的方法,训练强化学习策略根据当前状态、执行计划和规划器统计信息动态调整计算时间。该方法在地面机器人导航、敏捷四旋翼飞行和接触密集操作任务中均优于固定基准方案。
推荐理由:将计算预算优化建模为半马尔可夫决策过程,让机器人根据场景动态调整推理资源,解决了固定预算在关键场景下的局限性。