Hugging Face政策主管：嵌入式AI评估器难成简单方案

Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt上表示，嵌入式AI评估器不会是一个简单的解决方案。她称，业界对嵌入式评估器生态有需求，但判定谁能成为有效评估者、适用于哪些任务的资质标准需要更多标准化。 她指出，评估仍是一门不断演进的科学，业界尚不知如何有意义地相互比较不同评测；评测结果的可复现性依赖对模型本身的访问权限，开放权重在此至关重要。 Solaiman还提到，评测正从单纯测试模型转向测试模型周边的整个系统，包括harness和智能体。harness对模型表现影响很大，较弱的模型配上更好的harness可能轻松胜过前沿模型。她认为智能体评测既困难又昂贵，针对harness的评测数量远少于针对模型的评测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。