Terminal X 使用 GPT-6.1 Sol 达到 88.6% 投资判断准确率
Terminal X 的 Eval Agent 采用 54 项标准评估输出，使用 GPT-6.1 Sol 可捕捉比基金 mandate 多 25% 的偏差。
#评测/基准
OpenAI NewsAI 评分4545 Hugging Face Blog精选AI 评分7575 FairStress: 评估LLM决策中人口公平性的新基准
Hugging Face发布FairStress基准，用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景，测试模型在面对不同人口身份信息时的决策稳定性，发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力，存在反刻板印象过度纠正现象。
推荐理由：LLM在决策中存在反刻板印象过度纠正现象，同一论据对少数族裔和多数族裔候选人的影响不对称，现有去偏方法效果有限。
AWS Machine Learning BlogAI 评分7575 AWS发布基于Amazon Bedrock AgentCore的生产级AI智能体评估框架
AWS介绍了九阶段AI智能体评估框架，涵盖从基础定义到持续改进的全生命周期，帮助确保生产环境中AI智能体的质量和可靠性。该框架使用Amazon Bedrock AgentCore Evaluations，包括质量、安全、性能、成本和运营控制五个维度的评估，通过黄金数据集、评估器栈和自动化反馈循环，实现了智能体质量的持续监控和改进。
Google Research精选AI 评分7070 AI辅助会增强还是削弱专业能力？来自专利起草三个月实地实验的证据
Google Research发表了一项为期三个月的实地实验，研究AI辅助对专利律师专业能力的影响。实验发现AI工具短期内显著提高了律师起草专利的质量，但移除AI后，初级律师的专业判断能力并未提升，而高级律师则表现出明显的进步。研究强调，提高工作质量和构建持久专业判断可能是不同的目标，尤其对初级专业人士而言。
推荐理由：研究揭示了AI对专业能力发展的复杂影响，为AI工具设计提供了重要参考。
Microsoft ResearchAI 评分4545 Microsoft Research 探讨 AI 评估与失败启示
Microsoft Research 研究主管 Jennifer Neville 探讨 AI 评估如何推动系统性能突破，以及模型在传统基准测试外的“意外失败”。她强调数据对理解异常结果的重要性，并分享当前 AI 系统的实用工作建议。
GitHub Blog · AI & ML精选AI 评分7575 ReviewBench: AI 代码评测开放基准
GitHub 发布 ReviewBench，一个基于 103.9M 真实 PR 构建的代码评测基准，包含 219 个跨 19 语言的 PR，提供六项评测指标，支持按严重程度和类别分类，并已用于 Copilot 代码评测迭代。
推荐理由：ReviewBench 基于真实 GitHub PR 构建了首个开放代码评测基准，解决了评测方法学空白。
Hugging Face Blog精选AI 评分8585 Microsoft发布ThinkingBox智能体评估工具
Microsoft与Hugging Face合作发布ThinkingBox，通过检查数据库状态而非生成文本来评估AI智能体可靠性，每个任务重复运行20次。该工具已在Hugging Face开放，包含507个业务工作流程基准测试。
推荐理由：原文提供了AI智能体评估新方法，通过重复测试和数据库状态检查衡量可靠性。
Hugging Face Blog精选AI 评分6565 Hugging Face发布Open TTS排行榜
Hugging Face推出Open TTS排行榜，使用客观指标评估开源多语言文本转语音模型，包括可懂度、速度和说话人相似度，并提供多语言和语音克隆功能评测。
推荐理由：原文提供了开源多语言TTS模型的客观评测方法和排行榜，解决了现有评测无法规模化的问题。