arXiv · cs.RO· Siyuan Ma·· 5 天前精选AI 评分65
RoboJudge: 多模态大模型作为具身视频生成的评判者
RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation
AI 导读
研究团队提出RoboJudge-Bench基准，用于评估多模态大模型作为具身视频生成评判者的能力。该基准涵盖800个人类标注的视频，测量物理遵循和指令对齐两个维度。研究团队还构建了RoboJudge-Train数据集，并基于此训练出RoboJudge-9B模型，在评测中达到与人类判断的最高一致性，皮尔逊相关系数达0.719，比最佳基线模型Gemini-3.7-Flash高出0.089。
推荐理由
首个系统性评测多模态大模型对具身视频生成判断能力的基准，揭示了通用模型与专业模型在物理遵循和指令对齐上的评估差异。
来源：arXiv · cs.RO · arxiv.org