WeVisOne-VL: 从目标到像素的统一视觉感知
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
自动盯住上百个信源,用模型摘要、打分、精选,把同一件事的多篇报道归到一起,每天早上出一份日报。聚焦机器人、AI 与财经投资。
WeVisOne-VL 是一种强大的视觉语言模型,通过结构化下一词预测统一了目标级和像素级感知能力。该模型支持多种视觉任务,包括目标检测、指代定位、计数、OCR、分割和matting,能够在用户指定的任何粒度上进行定位,从点到框再到mask和alpha mattes。
推荐理由:通过结构化下一词预测统一目标级与像素级感知,WeVisOne-VL 在30多个基准测试中领先,为VLMs迈向可靠感知系统提供新路径。
本文提出多模态具身智能体(MMEAs)概念,定义了PAPAV统一框架,包含感知、预测、规划、行动和验证五大功能。研究分析了从计算机使用到机器人使用的转变面临的五大物理约束,并指出当前64个基准测试中仅有5个评估预测能力,3个评估验证能力,存在评测不平衡问题。
推荐理由:从计算机使用到机器人使用的多模态智能体转变面临五大物理约束,当前评测过度关注执行而忽视预测与验证能力。
Houzhu Ding 提出了 CW-WAM 模型,该模型联合预测视频、运动和接触力矩,通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合。实验表明,该模型将方形插销插入成功率从 25% 提升至 70%,电源适配器插入成功率从 40% 提升至 95%,并降低了力参考均方误差。
推荐理由:通过统一交互模块和双因果注意力机制,将接触力矩预测与动作控制结合,显著提升了机械臂操作精度和成功率。
Pengying Wu提出CLOSER框架,通过视觉语言模型验证与主动感知结合,在物体目标导航任务中提升成功率3.6个百分点,路径长度加权成功率提高2.0个百分点。该框架可在本地运行并集成到现有系统中无需重新训练。
推荐理由:通过主动验证减少具身导航中的误判,CLOSER框架在提升成功率的同时降低了路径长度。
研究人员提出PhysCanvas,一种统一多模态的视觉触觉世界模型,用于接触密集型机器人操作。该模型整合多视角RGB、触觉图像、标记位移、任务状态和动作,通过一致性感知后训练将世界模型与真实世界成功率的相关性从0.602提升至0.885,并将策略在真实世界中的成功率从59.1%提升至70.8%。
推荐理由:通过统一视觉与触觉模态建模,PhysCanvas将机器人策略评估与学习的成功率相关性提升至88.5%,解决了仿真与真实世界接触动力学不一致的难题。
Noam Rotstein提出了一种新模型,能够协同生成任意骨骼结构的3D运动与视频,并自动定位相机位置将运动放置到3D场景中。该模型通过分离运动模型与视频模型,使用交叉注意力层连接,支持从文本生成多样化骨骼动画,并能将视频转换为骨骼运动,实现关键帧控制。研究团队使用生成式视频编辑器创建了近20万训练对,评估显示该方法比视频优先管道更忠实于文本描述,且运动能响应周围场景。
推荐理由:通过分离运动模型与视频模型,实现了任意骨骼结构的3D运动与视频的协同生成,解决了现有方法仅支持人类骨骼或参数量过大的问题。
研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
Oliver Hausdörfer提出一种多视角潜在动作模型(LAM),通过交叉注意力解决深度和遮挡问题,将同步多摄像头视图压缩为潜在动作。实验表明,双视角LAM预训练将真实6D动作解码准确率提高17%,下游策略成功率提升13.5%,单次跨具身学习即可实现技能迁移,硬件实验中成功率提升20%。
推荐理由:多视角潜在动作预训练将6D动作解码准确率提升17%,证明视频与机器人数据互补且任务依赖性强。
研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。
推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。
研究表明 GPT-6 Astra 能够直接解释基于视觉的触觉图像并利用其接触线索进行操作,在19个模拟任务中达到93.8%的平均成功率,超过专业基线22.9个百分点。视觉触觉输入下表现优异,纯视觉性能也领先于基线,轨迹分析显示其具有主动探测、谨慎抓取等能力。
推荐理由:GPT-6 Astra 直接解读视觉触觉图像并用于操作,挑战了专业策略在接触密集任务中的垄断地位。
研究人员开发了ACE-Brain-0.6模型,通过结合机器人操作记录和多样化视觉数据的数据流水线,在约150万样本上微调Qwen3.5-9B。该模型在七个公共空间定位基准中的四个上超越GPT-6 Astra,平均得分为75.41,比Astra的73.68更高。研究显示,通过多样化来源的可验证定位监督可增强开放9B模型的空间感知能力。
推荐理由:通过150万样本训练的9B模型在空间感知基准上超越GPT-6 Astra,验证了多样化数据对具身智能的强化作用。
研究团队提出 FocusGUI,一种轻量级适配器,能动态优先处理多模态输入,解决GUI智能体中的连续注意力分散问题。在四种多模态骨干模型上,平均将类型匹配度提高33.2,精确匹配度提高3.0倍,比现有最佳增强方法提高30.1。
推荐理由:FocusGUI 通过动态优先处理多模态输入,解决了GUI智能体中的连续注意力分散问题,显著提升了任务匹配度。