AgentVQA: 智能体视觉理解统一评测基准
研究团队发布AgentVQA评测基准，涵盖Web Agents、Robotics、Egocentric Videos、Games和Spatial Planning五个领域，从23个数据集中选取1000个真实场景样本。评测显示22个模型中最高准确率仅58.5%，主要问题在于视觉状态跟踪而非任务理解或逻辑推理。
推荐理由：AgentVQA 填补了智能体视觉理解评测的空白，22个模型最高仅58.5%准确率揭示了当前视觉状态跟踪仍是最大瓶颈。
#评测/基准科技财经热点 · 每日精选
自动盯住上百个信源，用模型摘要、打分、精选，把同一件事的多篇报道归到一起，每天早上出一份日报。聚焦机器人、AI 与财经投资。
今日脉搏
具身智能专栏 →416今日入库
6 条进入精选
45/47 信源在线· 2 异常
近 14 天入库走势
近 7 天分类构成
行业 1301财经 1142硬件本体 875AI 产品 752AI 模型 263其他 387
HuggingFace Daily Papers精选AI 评分6565 HuggingFace Daily Papers精选AI 评分6565 FrontierCS 2: 计算机科学研发基准测试
研究团队发布FrontierCS 2基准测试，包含48个开放性任务，评估LLM智能体在计算机科学前沿研发中的贡献能力。最佳表现为Claude Opus 5.5，通过58%的测试任务，涵盖机器学习系统、高性能计算、数据库、安全和机器人等13个领域。
推荐理由：将LLM智能体置于真实研发环境测试，58%通过率揭示了当前AI在计算机科学前沿领域的实际贡献能力边界。
HuggingFace Daily Papers精选AI 评分6565 RoboValue: 用于统一评估机器人价值模型的细粒度模拟与真实基准
研究团队推出RoboValue基准，包含15个模拟和20个真实世界操作任务，用于评估机器人价值模型在任务状态理解、时间进度监控、失败与恢复推理以及价值一致性四个维度的能力。研究发现现有模型在细粒度指令基础、历史依赖进度跟踪和恢复评估方面存在错误，同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。
推荐理由：通过15个模拟和20个真实操作任务，首次系统评估机器人价值模型的细粒度能力，揭示了现有模型在任务理解、进度跟踪和恢复评估上的具体缺陷。
HuggingFace Daily Papers精选AI 评分7575 视觉语言模型的规模限制：逆规模效应研究
研究系统评估了19个来自四个不同模型家族的视觉语言模型，发现模型规模增大并不总是带来性能提升，在多图像空间推理、视觉感知和大学级STEM知识等领域存在逆规模效应，准确度差距最高超过20个百分点。
推荐理由：研究揭示了视觉语言模型在特定任务上存在逆规模效应，挑战了模型越大越好的普遍假设。
HuggingFace Daily Papers精选AI 评分6565 策略而非能力：安全评测衡量的是训练中采用的'不安全'定义
研究发现安全评测分数可能取决于训练标签定义而非模型能力，相同架构的十个模型在相同评测上得分差异高达23倍，微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。
推荐理由：安全评测分数可能取决于训练标签定义而非模型能力，微调0.03%参数就能让评测结果跨越整个区间。
已经到底了