HuggingFace Daily Papers· Advait Gupta, Sachin Konan, Tom Yin, Gabriel Sarch, Zhuang Liu·· 4 天前精选AI 评分65
AgentVQA: 智能体视觉理解统一评测基准
AgentVQA: A Unified Benchmark for Agentic Visual Understanding
AI 导读
研究团队发布AgentVQA评测基准，涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域，从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%，主要问题在于视觉状态跟踪而非任务理解或逻辑推理。
推荐理由
AgentVQA 填补了智能体视觉理解评测的空白，22个模型最高仅58.5%准确率揭示了当前视觉状态跟踪仍是最大瓶颈。
来源：HuggingFace Daily Papers · arxiv.org