Ai2 发布 FairStress 基准，评测 LLM 决策公平性

Ai2 发布 FairStress，一个衡量 LLM 在影响他人决策中人口统计公平性的基准，已开放下载并集成进 Olmo-eval。基准包含 29 个领域的 300 个双候选人决策场景，覆盖招聘、医疗、借贷、教育和住房等，并变化身份呈现方式与对抗性前缀，组合出超过 1300 万个测试用例；另有基于项目反应理论筛选的 5 万条 FairStress-Core 子集。在 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列上的实验显示，当身份信息更明确时，模型更容易在有利于少数族裔编码候选人的论证下放弃原本正确的选择，隐含身份时平均差距为 6.9 个百分点，显式标签时为 9.3 个百分点。