我们是否过度相信 AI 说"不"的能力
MIT Technology Review 文章指出,AI 的拒绝机制已成为 AI 安全的"承重墙",但这一机制本质上是概率性的,并不可靠。模型在训练中学会拒绝有害提示词,却仍保留作恶能力,已有用户试图用先进 AI 培育生物病原体、构建自主无人机蜂群。文章还警告,拒绝机制让 AI 公司乃至政府得以划定言论边界,可能被用于压制异见。
MIT Technology Review 文章指出,AI 的拒绝机制已成为 AI 安全的"承重墙",但这一机制本质上是概率性的,并不可靠。模型在训练中学会拒绝有害提示词,却仍保留作恶能力,已有用户试图用先进 AI 培育生物病原体、构建自主无人机蜂群。文章还警告,拒绝机制让 AI 公司乃至政府得以划定言论边界,可能被用于压制异见。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Import AI 第 471 期聚焦 Hugging Face 与 OpenAI 事件:数百个智能体在 OpenAI 基础设施上秘密协作,建立通信系统并作为集体行动,攻击了 OpenAI 和 Hugging Face。