SpatialScout: VLM 智能体能主动探索并映射 3D 场景吗?
研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。
推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。
研究团队提出 SpatialScout 基准,用于评估视觉语言模型智能体在主动物体级 3D 映射上的能力。该基准包含 80 个多样化室内场景和 3,140 个目标物体,要求智能体控制相机探索场景并估计物体中心坐标。
推荐理由:SpatialScout 揭示了当前 VLM 智能体在主动探索和构建精确 3D 地图上的显著差距,最高分模型仅 41.71%,为具身智能研究提供了新基准。
杨健教授系统梳理了数学历史上的四次危机,分析了AI对数学本质的挑战与影响。文章指出,当前AI在数学领域的应用引发了关于证明定义、可理解性和数学本质的深刻讨论,数学家担忧AI可能改变数学的人文本质,但也认为AI可能降低数学门槛,促进数学发展。
推荐理由:文章系统梳理了数学四次危机,分析了AI对数学本质的挑战与影响。
10月16日A股三大指数分化,军工板块领涨,个股涨多跌少,涨停61只。三只首次涨停的深度低估标的来自供应链电子、汽车零部件与军工电子方向,估值显著低于济安定价;一只连续涨停的量子科技标的估值溢价近五成,缺乏业绩支撑,短线风险较高。
中美AI竞争重心从模型能力转向推理成本、开发者生态、企业部署和规则制定能力,开源与闭源之争背后是商业逻辑与产业生态的深层博弈。中国开放权重模型形成数字世界与实体产业相互强化的循环,美国科技产业内部对开放权重态度分化,蒸馏争议将竞争推向知识产权和规则层面。
香港启动机器人具身 AI 测试中心,支持机器人与 AI 技术融合测试。该中心旨在推动具身智能在机器人领域的应用与发展。
中国10月19日公布三季度GDP及9月工业、社零等经济数据,金融街论坛年会同日在京开幕,APEC财长会首度在香港举行。英伟达GTC柏林开幕,黄仁勋21日发表主题演讲,德国总理默茨19日晚与其会面。特斯拉、Meta、宁德时代等公司财报密集发布。
研究人员发布BiDex-100基准,包含106项双灵巧手操作任务,覆盖泛化、指令跟随、有限演示、长时程和记忆五个能力维度。该基准支持两种 embodiment,提供8,080个成功验证的远程操作演示,总计625万帧。研究团队评估了七种最新的视觉-语言-动作模型,建立了针对特定能力、鲁棒性和数据效率的基线。
推荐理由:覆盖106项任务的双灵巧手基准填补了行业空白,接下来看各家模型在长时程记忆和泛化能力上的真实表现。
CoEvo-RSI 通过双向历史继承优化模型-工具协同进化,仅用监督微调使 Qwen3.5-9B 在多智能体故障归因等任务上媲美更大模型。该框架在 TraceElephant 上超越 DeepSeek-V4-Pro(agent 准确率 +14.16),在 HomeBench VM 上超越 GLM-5.3(成功率 +4.90)。
研究人员提出 AffordanceWAM,一种可 affordance 感知的生成式世界-动作模型,通过标量 affordance 和 affordance 热图表示物体中心的时空 affordance。
推荐理由:通过可 affordance 表示法连接人类与机器人视频数据,实现了无需人类动作标签的跨模态迁移学习。
研究人员提出HumanoidPose框架,通过视频单独估计人形机器人的全身关节配置,结合预训练人体姿态特征与机器人运动学,将人体动作重定向到16种不同人形机器人上,并在三个真实人形平台上将关节角度误差降低了18-32%。
推荐理由:将视觉作为本体感觉来估计人形机器人姿态,解决了在线视频缺乏关节配置的问题,提升了跨平台泛化能力。
研究人员提出 VLA-Rolling 框架,通过重用动作尾部减少去噪步骤,在 LIBERO、MetaWorld 等基准测试上实现了最高 1.48 倍加速和 15.08 个百分点的成功率提升。
推荐理由:通过重用被丢弃的动作尾部,VLA-Rolling 实现了更高效的推理,在降低计算成本的同时提高了成功率。
研究人员提出TILDE方法,通过结合学生诱导状态下的在线蒸馏和教师执行恢复轨迹学习,将具身基础模型的能力迁移到无需动作预训练的策略中。该方法还包含AutoDAgger自主数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,相比人工监控方法加速恢复轨迹收集超过2倍。在三个真实世界任务中,TILDE相比行为克隆将任务性能提高了最高4.1倍,并支持有效的跨架构蒸馏。
推荐理由:TILDE通过教师模型与自主数据收集的结合,将具身基础模型的能力迁移到无需动作预训练的策略中,解决了机器人数据收集效率问题。
研究人员提出 DiPLO 框架,结合自蒸馏扩散规划器与低级别全身跟踪策略,解决了人形机器人 locomotion 操作的协调难题。该框架通过 SD:DPO 移除规划器对强任务条件的依赖,再使用 DA:PPO 微调模型,在拾取-携带-放置任务中实现99%的任务成功率,并在宇树 G1 机器人上成功部署。
推荐理由:通过自蒸馏扩散规划与全身跟踪策略结合,解决了人形机器人 locomotion 操作难题,实现99%任务成功率。
研究提出一种循环策略,在连续介质点法模拟器中实现火星车松散土壤脱陷,平均脱陷率达62.5%,优于预设控制器的7/32。该策略基于81,771个训练窗口的陷坑检测器,在五种训练种子下验证,物理转移尚未验证。
SARAM提出了一种终身学习框架,通过复用冻结适配器和仅在选定层引入新适配器,限制存储增长同时保持GPU内存和推理成本与任务流长度无关。在四个LIBERO套件中,SARAM匹配或超过基于适配器的方法,同时每个任务减少最多4.5倍的磁盘状态。在真实UR5机械臂上的实验进一步验证了其在顺序任务流中的保留能力。
推荐理由:通过复用和稀疏分配适配器,SARAM解决了机器人终身学习中存储和部署成本随任务增长的问题。
研究发现,机器人策略改进后,视觉语言模型对失败案例的监控敏感性反而降低。在20次托盘放置实验中,成功率从66.8%升至97.0%,但剩余悬停失败被接受的比例从31.1%升至50.0%,这些失败多发生在托盘边缘下方,可能被遮挡。该现象被称为"覆盖偏移",表明任务改进与失败可检测性并非同步提升。
该研究提出了一种分层控制器,其中强化学习适应结构化运动参考,而步态调度器、反应性步态规划器和全身冲量控制器负责高频执行。在六方向干扰课程训练下,该控制器在测试干扰网格中达到77.29%的平均生存率,比基于模型的参考控制器高出27个百分点。
推荐理由:通过分层控制将强化学习与优化控制结合,四足机器人抗干扰生存率提升27个百分点。
研究人员提出EndoVLA-OOV,一种用于机器人内窥镜视野外目标获取的语言条件视觉-语言-动作策略。该策略在跨 embodiment 评估中达到93.3%的目标获取成功率,数据集从312扩展到1050个片段后,成功率从40.0%提升到90.0%。研究团队提供了包含约262k观测-动作对的开源VLA数据集。
推荐理由:语言条件下的视野外目标获取在机器人内窥镜中实现93.3%成功率,展示了语言引导与任务演示扩展的价值。
Chaoran Zhu提出了一种关系空间对齐方法,用于解决视觉-语言-动作(VLA)模型中直接对齐3D基础模型导致的特征坍缩问题。该方法通过关注点对关系而非点对点对齐,有效将3D空间理解注入VLA模型,在公共基准、新空间推理基准和实际操作场景中均表现出鲁棒性能和增强的空间感知能力。
研究人员提出FIBER框架,使用冻结行为基础模型的潜在空间作为人形机器人多样化操作的共享规划表示。在模拟和真实Unitree G1人形机器人上的实验表明,该框架在箱体拾取、门开启和物体抓取任务中取得了42.0%的平均成功率,显著优于传统运动学规划方法。
推荐理由:通过冻结行为基础模型的潜在空间实现多样化人形机器人操作,成功将多种技能整合为统一规划器。
Zhiyuan Yang提出NISE方法,解决RGB-D传感器在透明、反射物体上产生的深度测量问题。该方法通过几何交叉视图自监督和高斯边际化3D注意力,在保持清洁深度性能的同时,显著提升深度噪声鲁棒性,适用于真实机器人任务。
研究团队开发具身机械臂 EmArm,具备类人触觉感知能力。该机械臂通过触觉传感器实现精准交互,适用于复杂操作场景。
Sangwoo Jung 提出 RoMo-GS,一种解决机器人快速移动导致运动模糊问题的在线 3D 高斯溅射系统。该系统通过曝光积分处理运动模糊,使用基于 Hessian 的剪枝分数限制高斯数量增长,并在多个数据集上实现了比离线去模糊 3DGS 方法快 15-150 倍的性能,同时比在线 3DGS 基线少约 20% 的高斯数量。
推荐理由:通过曝光积分处理运动模糊,RoMo-GS 实现了在线 3D 高斯溅射,在保持质量的同时大幅提升效率。
Ali Taheri提出RuleGraph框架,通过多智能体规则图规划使LLM-enabled机器人能够拒绝有害指令同时完成合法任务。该方法在RoboGuard基准测试上达到98.57%的任务成功率,同时将攻击成功率降至0%。
推荐理由:通过多智能体规则图规划,让机器人在拒绝有害指令的同时完成合法任务,解决了复合指令中的安全难题。
Yujia Yang提出Scene-Adaptive VLA框架,利用动态层路由根据实时场景调整活跃参数,在Bench2Drive基准测试中,将先进VLA模型的推理计算开销降低53.5%,同时保持驾驶和语言能力几乎不受影响。代码已开源于GitHub。
推荐理由:通过动态层路由将计算开销降低53.5%,为车载VLA模型提供实时推理新思路。
Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。
推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。
Shaojie Ren 等人提出 LIBERO-Dynamic,这是对 40 个 LIBERO 任务的动态扩展,通过接触摩擦驱动物体运动,并考虑模型特定的推理延迟。研究评估了六种预训练策略在 1,800 种动态条件下的表现,比较了执行策略和动作范围,并使用动态和混合数据对三种架构进行了微调。物理实验显示任务相关的执行策略差异与模拟结果一致。
推荐理由:LIBERO-Dynamic 基准首次将物体运动、推理延迟和动作执行纳入机器人操作评估,揭示了动态环境对策略性能的非均匀影响。
Latent Space推出新节目High Taste Testers,以典型旧金山午餐会形式呈现AI行业热点。本期节目涵盖10月15-16日的AI新闻,包括Meta发布Muse Spark Open开源模型、Reflection Beam 1.0发布、Gemini 4 Argon扩展功能、Anthropic和OpenAI的价格与速度更新,以及多个AI硬件和评测基准的最新进展。
研究仅依靠关节位置和速度感知(无视觉、力、力矩或触觉)的机器人装配策略,通过强化学习训练,成功实现销插入、齿轮啮合和螺母螺纹装配,并在真实世界中达到73%的零样本迁移成功率。研究还发布了开源程序化生成器,用于创建精确的凸形零件装配模拟。
推荐理由:仅依靠关节 proprioception 实现毫米级装配,零样本迁移成功率73%,证明本体感知在精密装配中的潜力。
Xinhao Liu 提出了 StopWatch 方法,解决了物体导航任务中的目标定位问题。通过明确目标定位,该方法在六个基准测试上达到了最先进的结果,并修正了这些基准测试中的标注缺陷。分析表明,在真实目标定位的情况下,其策略几乎达到了生成演示的专家水平。
推荐理由:目标定位是物体导航任务中的关键瓶颈,明确目标定位方法显著提升了六项基准测试的性能。
Jiaru Bai 提出自我构建实验室(SBL)系统,能根据高层科学目标自主设计、配置和运行实验室设置。该系统从现有条件出发,构建实验室布局、数字孪生、机器人技能和实验工作流,已在量子点合成实验中验证端到端能力,使科学自动化更易访问、灵活和可扩展。
推荐理由:从空白房间到完整实验室,SBL 系统自主设计、配置并运行实验,将人类角色从手动编程转向目标设定,大幅提升科学自动化灵活性。
IEEE Spectrum 汇集本周机器人视频,包括 Gemini 4 通过视频理解生成 Apollo 2 人形机器人投掷玉米袋的物理模拟,NASA 毅力号火星车以 28.10 英里刷新地外行驶纪录,以及 Microducks 通过蓝牙即兴合唱。
Huanqian Wang提出PRIME方法,通过构建加权图和最短路径搜索,从非精确的人类演示中学习精确的进度估计,在仿真和真实世界的高精度操作任务中表现出色,在充电器插入任务上比SFT基线方法提高5倍成功率。
推荐理由:从人类不完美演示中学习进度评估,PRIME方法解决了高精度操作中错误动作干扰奖励信号的问题。
本文提出了一种将最优计算预算识别为半马尔可夫决策过程的方法,训练强化学习策略根据当前状态、执行计划和规划器统计信息动态调整计算时间。该方法在地面机器人导航、敏捷四旋翼飞行和接触密集操作任务中均优于固定基准方案。
推荐理由:将计算预算优化建模为半马尔可夫决策过程,让机器人根据场景动态调整推理资源,解决了固定预算在关键场景下的局限性。
TransNav 提出一种基于 Transformer 的端到端导航方法,通过点云编码与无监督学习策略,实现四旋翼在静态与动态环境中的障碍物避障。该方法在密集静态环境中表现优异,动态场景下具备竞争力,且推理成本低,适合机载部署。
本文将FOUND-IT集成到移动操作平台,展示了基础模型驱动的3D场景图在物体变化检测、多映射会话支持、导航路径规划和物体抓取等任务中的有效性。代码已在GitHub开源。
推荐理由:将基础模型驱动的3D场景图集成到移动操作平台,验证了其在物体变化检测、导航路径规划和抓取任务中的实用性。
Guanchen Du提出HIJP框架,通过逆向模型和潜在预测模型的交替应用,在视觉控制任务中实现了86.8%的整体成功率,并比基于搜索的规划速度提升1.9-16.5倍。该方法通过重标记未来观察作为目标,提供跨时间范围的动作监督,并确保动作转换一致性。
Faraday Future和FFR联合推出FF Nova人形机器人,在美国售价低于2500美元,同时发布了FF Nova Mini、Physical AI Spark课程和强化学习开发者计划。
推荐理由:低于2500美元的人形机器人首次亮相,价格门槛大幅降低,接下来看开发者生态能否跟上。
香港启动具身 AI 中心,意在争夺机器人产业机遇。该举措聚焦具身智能技术发展,助力香港在全球机器人领域占据一席之地。
Zhixu Li等人提出LIBERO-PeRM基准测试,专注于具身智能体的偏好学习,包含312个任务和五个研究问题,评估当前VLA策略在零样本个性化、偏好学习和冲突处理等方面的表现。
推荐理由:论文提出了首个针对个性化机器人操作的基准测试LIBERO-PeRM,填补了该领域评估空白。