Hugging Face Blog·· 3 小时前精选AI 评分62
ALTK-Evolve 用 GPT-4.1 加学习记忆登顶 τ²-bench 客服任务榜
ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model
AI 导读
ALTK-Evolve 用 GPT-4.1 从智能体自身的任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域取得 67.5% 的 Pass^4,超过该榜所有零售条目,且不更新模型权重。方法沿用 τ²-bench 原生 ReAct 脚手架,仅把学到的准则以 markdown 列表附在领域政策之后,准则提取与智能体使用同一模型,无需人工标注。零售域全量准则把平均准确率从 78.1% 提到 82.5%,Pass^4 从 57.5% 提到 67.5%;航空域 Pass^4 从 35.0% 提到 45.0%,但该域以 14 条高支持度准则的紧凑版本更可靠。
推荐理由
原文给出零售与航空两个客服域的完整对照数据,可看清提示词级记忆在准确率与可靠性上的取舍。
来源:Hugging Face Blog · huggingface.co