新基准 Taste-Bench 测出 AI 智能体长期决策判断力不足
研究者提出 Taste-Bench,用 502 道决策分叉题衡量智能体在长期任务中的选择质量,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近二选一的随机水平。当关键线索只在后续步骤才显现时,各模型平均准确率降至 21%。团队还将教师模型判断蒸馏进 Qwen3.6-27B,在 41 个 SWE-bench Pro 任务上把成功率从 14.6% 提升到 33.7%,基准与代码已公开。
研究者提出 Taste-Bench,用 502 道决策分叉题衡量智能体在长期任务中的选择质量,最佳模型 GPT-5.6 Sol 仅得 59.7%,接近二选一的随机水平。当关键线索只在后续步骤才显现时,各模型平均准确率降至 21%。团队还将教师模型判断蒸馏进 Qwen3.6-27B,在 41 个 SWE-bench Pro 任务上把成功率从 14.6% 提升到 33.7%,基准与代码已公开。
一项新基准测试让商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均每题成本不到 3 美元、整套基准约 116 美元。
推荐理由:读者可看到前沿模型在理论物理论文级计算上的得分、成本与失败模式,以及作者对科研训练与资源门槛的讨论。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与评分口径,读者可据此理解离线评测如何对应线上实验。