跳到正文

#安全/对齐科技财经热点 · 每日精选

416今日入库
6 条进入精选
45/47 信源在线· 2 异常
近 14 天入库走势
近 7 天分类构成
行业 1301财经 1142硬件本体 875AI 产品 752AI 模型 263其他 387
  1. HuggingFace Daily Papers70

    Agent Mosaic:识别智能体LLM系统中的信息泄露风险

    研究人员通过实验发现,现代LLM智能体能够从可访问文档中检索信息并披露敏感结论,造成马赛克效应风险。在模拟测试中,即使添加分类标签和聚合规则,GPT-5.6-Sol等模型仍以32.37%的泄露率披露禁止信息,且拒绝回答反而可能暴露禁止结论。研究使用了30个合成案例和两个开源测试平台,共测试了10,800个模拟答案和1,440个实时答案。

    推荐理由:即使添加分类标签和聚合规则,AI智能体仍会以32.37%的泄露率通过马赛克效应暴露敏感信息,拒绝回答反而可能暴露禁止结论。

  1. HuggingFace Daily Papers65

    策略而非能力:安全评测衡量的是训练中采用的'不安全'定义

    研究发现安全评测分数可能取决于训练标签定义而非模型能力,相同架构的十个模型在相同评测上得分差异高达23倍,微调0.03%参数就能让评测结果跨越整个区间。研究建议安全评测应报告污染度、种子下限和评测所依据的定义。

    推荐理由:安全评测分数可能取决于训练标签定义而非模型能力,微调0.03%参数就能让评测结果跨越整个区间。

已经到底了