跳到正文

#评测/基准科技财经热点 · 每日精选

416今日入库
6 条进入精选
45/47 信源在线· 2 异常
近 14 天入库走势
近 7 天分类构成
行业 1301财经 1142硬件本体 875AI 产品 752AI 模型 263其他 387
  1. arXiv · cs.RO65

    RoboJudge: 多模态大模型作为具身视频生成的评判者

    研究团队提出RoboJudge-Bench基准,用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频,测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集,并基于此训练出RoboJudge-9B模型,在评测中达到与人类判断的最高一致性,皮尔逊相关系数达0.719,比最佳基线模型Gemini-3.7-Flash高出0.089。

    推荐理由:首个系统性评测多模态大模型对具身视频生成判断能力的基准,揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。

  2. arXiv · cs.RO70

    前沿大语言模型进入机器人领域:在RoboColiseum上的跨模型评估

    研究团队在RoboColiseum平台上对GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5和Gemini 4 Argon四个模型进行了多维度比较评估,涵盖指令跟随、空间推理、通用操作和鲁棒性四个方面。结果显示所有模型在指令跟随上表现优异,空间推理能力强,但通用操作能力较弱;Astra在指令跟随和鲁棒性上领先,Opus在空间推理、通用操作和整体性能上领先。

    推荐理由:大模型在机器人任务上展现出指令理解与空间推理优势,但执行能力仍存明显差距,模型间互补性强。

  1. arXiv · cs.RO70

    RoboValue: 用于机器人价值模型统一评估的细粒度仿真与真实世界基准

    研究人员提出RoboValue基准,用于统一评估机器人价值模型,涵盖任务状态理解、时间进度监控、故障恢复推理和价值一致性四个维度。该基准包含15个仿真和20个真实世界操作任务,评估结果显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误。

    推荐理由:RoboValue基准揭示了现有机器人价值模型在细粒度评估中的不足,为价值监督提供了具体改进方向。

  1. arXiv · cs.RO70

    LIBERO-Pro2.0: 评估具身基础模型鲁棒性的基准测试

    Xueyang Zhou 等人发布 LIBERO-Pro2.0 基准测试,用于系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含22种静态扰动和20种运行时干预,涵盖六个维度,共1,648个验证过的偏移任务实例。研究评估了17个代表性机器人策略,发现在运行时分布偏移下,模型平均性能下降26.5个百分点,最高达32.5个百分点,突显了名义基准性能与分布偏移鲁棒性之间的差距。

    推荐理由:LIBERO-Pro2.0 基准测试揭示了具身模型在分布偏移下的显著性能差距,平均下降26.5个百分点,凸显了系统性鲁棒性评估的必要性。

已经到底了