跳到正文
10月25日周日
10月23日周五
  1. HuggingFace Daily Papers65

    WeVisOne-VL: 从目标到像素的统一视觉感知

    WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。

    推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。

10月22日周四
  1. HuggingFace Daily Papers65

    多模态具身智能体:从计算机使用到机器人使用的统一能力视角

    研究者提出多模态具身智能体(MMEAs)概念,引入PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。通过64个基准测试分析,发现当前评测过度关注行动能力,而预测和验证能力评估严重不足,揭示了物理环境对智能体设计的挑战。

    同一件事,精选收录的是《多模态具身智能体:从计算机使用到机器人使用的统一能力视角》

  2. arXiv · cs.RO70

    CW-WAM:一种用于力敏感操作的结构化接触力矩世界动作模型

    Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。

    推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。

10月21日周三
  1. arXiv · cs.RO65

    CLOSER: 基于证据感知的主动视觉验证具身物体目标导航

    Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。

    推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。

  2. arXiv · cs.RO75

    PhysCanvas:面向机器人策略评估与学习的视觉触觉世界模型

    研究人员提出PhysCanvas,一种统一多模态的视觉触觉世界模型,用于接触密集型机器人操作。该模型整合多视角RGB、触觉图像、标记位移、任务状态和动作,通过一致性感知后训练将世界模型与真实世界成功率的相关性从0.602提升至0.885,并将策略在真实世界中的成功率从59.1%提升至70.8%。

    推荐理由:通过统一视觉与触觉模态建模,PhysCanvas将机器人策略评估与学习的成功率相关性提升至88.5%,解决了仿真与真实世界接触动力学不一致的难题。

  3. arXiv · cs.RO65

    Joints, Camera, Action! 协同生成任意骨骼结构的3D运动与视频

    Noam Rotstein提出了一种新模型,能够协同生成任意骨骼结构的3D运动与视频,并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于文本描述,且运动能响应周围场景。

    推荐理由:通过分离运动模型与视频模型,实现了任意骨骼结构的3D运动与视频的协同生成,解决了现有方法仅支持人类骨骼或参数量过大的问题。

  4. HuggingFace Daily Papers45

    Video-Point Model 通过点轨迹预测学习4D世界

    研究团队提出 Video-Point Model (VPM),一种基于多视角视频和语言指令的4D世界模型,可预测未来视频和3D点轨迹。VPM-Data 数据集和 VP-WorldBench 评测基准支持训练,点监督提升视频保真度和3D运动准确性。机器人控制扩展中,动作令牌与视频联合去噪,提高模拟和真实机器人操作成功率。

  5. arXiv · cs.RO55

    PanoGraphGS:结合高斯溅射实现全景分割与分层3D场景图统一

    Jinghan Gao提出PanoGraphGS框架,整合全景3D高斯表示学习与分层3D场景图构建。该方法在共享高斯几何上学习语义和实例特征,支持新视角全景分割和高斯级全景解码。在Replica和NaviGS数据集上,PanoGraphGS在物体节点准确率上超越最强基线50个百分点以上,并在2D全景分割任务中达到最先进性能。研究团队同时发布了NaviGS全景场景理解数据集。

  6. arXiv · cs.RO40

    Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models

    研究通过让视觉语言模型模拟儿童数指动作,在9个模型、682张图像和7种测试条件下发现,模型的精确计数范围差异显著(R80从3到150点);标记作为干预手段仅对4个模型在小规模计数照片中有效,但作为测量工具可追踪模型推理过程;模型遵循指令遍历顺序却常因顺序反转改变答案,与儿童行为存在差异。

  7. arXiv · cs.RO65

    RoboJudge: 多模态大模型作为具身视频生成的评判者

    研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。

    推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。

  8. arXiv · cs.RO70

    多视角潜在动作预训练用于跨具身机器人视频学习

    Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。

    推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。

  9. arXiv · cs.RO70

    前沿大语言模型进入机器人领域:在RoboColiseum上的跨模型评估

    研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。

    推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。

10月20日周二
  1. arXiv · cs.RO70

    GPT-6 Astra 是一种接触密集操作的原生视觉触觉策略

    研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。

    推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。

  2. 钛媒体75

    DeepSeek发布V4.1-Flash-1017模型,强调工程能力与具身智能布局

    DeepSeek发布DeepSeek-V4.1-Flash-1017版本,通过基于自反馈的强化学习提升从零构建完整项目的能力,在SWE v1.1和Terminal-Bench 4.0评测中表现优异。同时,DeepSeek在具身智能领域进行多笔投资,包括宇树科技、Winverse AI和逐际动力,加速从数字世界向物理世界延伸的战略布局。

  3. HuggingFace Daily Papers55

    StreamEval: 评估交互式流式视频生成模型

    StreamEval 是一个统一的交互式流式视频生成基准,涵盖五个任务:头像对话、头像表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度评估模型性能:任务执行、状态一致性、视觉保真度和视听协调。评估37个模型后发现,高视觉质量和身份保留并不一定可靠的任务执行或持续的状态一致性。

10月19日周一
  1. HuggingFace Daily Papers65

    ACE-Brain-0.6: 扩展空间感知以强化物理基础模型

    研究人员开发了ACE-Brain-0.6模型,通过结合机器人操作记录和多样化视觉数据的数据流水线,在约150万样本上微调Qwen3.5-9B。该模型在七个公共空间定位基准中的四个上超越GPT-6 Astra,平均得分为75.41,比Astra的73.68更高。研究显示,通过多样化来源的可验证定位监督可增强开放9B模型的空间感知能力。

    推荐理由:通过150万样本训练的9B模型在空间感知基准上超越GPT-6 Astra,验证了多样化数据对具身智能的强化作用。

  2. HuggingFace Daily Papers65

    Focused Omni-Modal GUI Agents 论文发布

    研究团队提出 FocusGUI,一种轻量级适配器,能动态优先处理多模态输入,解决GUI智能体中的连续注意力分散问题。在四种多模态骨干模型上,平均将类型匹配度提高33.2,精确匹配度提高3.0倍,比现有最佳增强方法提高30.1。

    推荐理由:FocusGUI 通过动态优先处理多模态输入,解决了GUI智能体中的连续注意力分散问题,显著提升了任务匹配度。

10月16日周五