HuggingFace Daily Papers· Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi·· 7 天前精选AI 评分70
相同模拟，不同证据：检索工具输出如何影响LLM智能体的准确性
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
AI 导读
研究显示，当LLM智能体通过检索而非上下文读取PHREEQC地质化学模拟器的报告时，GPT-5.1和GPT-5.2的准确性分别下降11.3和7.9个百分点，而Claude Opus 4.6和Claude Sonnet 4.6未受影响。GPT模型在检索时经常跳过报告，从自己的高精度输出文件中回答并错误舍入到相邻选项，这种证据替代错误是准确率下降的主要原因。
推荐理由
当LLM智能体通过检索而非上下文读取工具输出时，GPT模型出现明显的证据替代错误，而Claude模型不受影响，揭示了不同模型在证据处理上的关键差异。
来源：HuggingFace Daily Papers · arxiv.org