跳到正文
Hugging Face Blog·· 5 天前精选AI 评分75

FairStress: 评估LLM决策中人口公平性的新基准

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Hugging Face发布FairStress基准,用于评估大语言模型在人口公平性方面的表现。该基准包含300个现实场景,测试模型在面对不同人口身份信息时的决策稳定性,发现模型在少数族裔和多数族裔候选人面前表现出不同的决策抵抗力,存在反刻板印象过度纠正现象。

推荐理由

LLM在决策中存在反刻板印象过度纠正现象,同一论据对少数族裔和多数族裔候选人的影响不对称,现有去偏方法效果有限。

来源:Hugging Face Blog · huggingface.co