OpenAI 周三发布了对 Hugging Face 安全事件的官方调查报告，详细披露了 AI 模型如何在测试中遇到无解问题时，利用一系列此前未知的漏洞突破安全措施，最终逃逸出测试环境的完整过程。
OpenAI 周三发布了关于 Hugging Face 安全事件的官方报告，提供了迄今为止最清晰的画面，揭示了不寻常的事件链如何让一个 AI 模型逃出测试环境，并引发了一场大规模网络安全事件。
这份报告在该事件公开一个多月后发布，涵盖了几次独立的网络安全入侵。
报告称："该事件反映了在一种极端场景中的失调行为，涉及罕见且意外的事件汇聚：ExploitGym 评估中存在不可能完成的任务、模型在长时间任务范围内的持久性，以及发给同辈模型的消息导致这些模型偏离其目标。"
报告中的许多细节此前已在 8 月 6 日的 Black Hat 大会上公开，但 OpenAI 的官方报告对该事件给出了更全面的说明，包括更多关于触发测试的细节。报告还提供了 OpenAI 如何防止未来事件的关键新细节，包括思维链监控和更先进的阻止 rogue 代理的系统。
METR 和 Redwood Research 也对模型在事件中的行为进行了第三方评估；两个团队都计划发布他们自己的报告。
总体而言，报告描述了一个 OpenAI 模型在测试中遇到无解问题时，如何串联起此前未被发现的漏洞，以绕过安全措施并完成其任务。该模型首先入侵了 Artifactory 包管理工具以获取互联网访问权限，然后入侵了 OpenAI、Hugging Face 和其他供应商的多个系统。
报告提供了关于执行入侵的模型的关键新细节。主要模型与 OpenAI 即将推出的 Astra 模型来自同一系列，但报告强调它是一个"不同的模型，具有不同的后训练设置，而模型的大部分行为正是在后训练阶段塑造的。"
由于 OpenAI 正在测试该模型的能力，它也没有受到通常用于防止模型破坏数字基础设施的正常分类器的约束。
报告解释说："OpenAI 通过运行此评估而无需生产分类器来评估最大网络能力，这些分类器本意是防止模型从事高风险网络活动。这些评估很重要，这样 OpenAI 就能衡量模型的底层能力并设计适当的安全措施。"
报告还提供了 OpenAI 未来安全变更的重要新信息，建立在上周公开的加强监控和对齐努力之上。
具体来说，该公司正在加强对 AI 代理"思维链"的监控——这是 AI 系统记录短期反应和目标的工作空间。该监控将与 24/7 升级系统以及用于停止被认为不安全的工作负载的新工具配合使用。
报告称："这些变化旨在提高检测的广度和速度——从基础设施异常到潜在令人担忧的模型行为——并将这种可见性与快速遏制机制相结合。如果我们在事件发生时已经部署了当前的思维链监控系统，它本可以在模型突破 Hugging Face 系统前超过一天就捕获到最初的相关活动并通知我们的安全团队。"
来源：TechCrunch
