arXiv · cs.RO· Yingxin Jia·· 5 天前AI 评分40
Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models
Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models
AI 导读
研究通过让视觉语言模型模拟儿童数指动作，在9个模型、682张图像和7种测试条件下发现，模型的精确计数范围差异显著（R80从3到150点）；标记作为干预手段仅对4个模型在小规模计数照片中有效，但作为测量工具可追踪模型推理过程；模型遵循指令遍历顺序却常因顺序反转改变答案，与儿童行为存在差异。
来源：arXiv · cs.RO · arxiv.org