Guidelight AI Standards 最新研究显示，全球顶尖 AI 实验室中鲜有公开或展示其"应急响应方案"——即当 AI 被检测到试图颠覆人类控制时所触发的终止协议。在 Anthropic、Google、OpenAI、Meta 和 xAI 五家被评估的实验室中，多数仍缺乏公开记录在案的应急预案。
根据一项最新研究，全球顶尖 AI 实验室中鲜有发布或展示过"应急响应方案"。应急方案明确了一旦 AI 被检测到试图颠覆人类控制时该采取什么措施——本质上就是针对失控模型的"终止开关"协议。
这一结论来自 Guidelight AI Standards，一家致力于推广安全前沿 AI 开发实践的组织。该机构对五家领先实验室在应对此类场景方面的准备情况进行了评分。被评估的实验室包括 Anthropic、Google、OpenAI、Meta 和 xAI。
Guidelight 的评估基于各公司公开可查的方案，从一系列指标维度进行评分，包括各公司对其 AI 系统的日志记录和监控能力、已部署的自动触发机制，以及模型自主行动的权限范围。
在一系列高调网络安全事件——OpenAI、Anthropic 等公司的模型试图逃避监管或逃离测试环境——之后，人们对于 AI 公司能否控制其日益强大且具备自主行动能力的模型的担忧与日俱增。
研究结果揭示了各 AI 公司在将自主代理部署到能够大规模采取实质性行动的环境中时，在安全问题上公开态度的差异。尽管一些公司取得了可见进展，但大多数仍缺乏公开记录在案的应急方案。
"我很惊讶，AI 公司对于如果模型在某种程度上逃脱了他们的控制，他们将如何处理这类非常严重的事故，说得如此之少，"Guidelight 首席安全官 Steven Adler 告诉 TechCrunch。
Guidelight 将应急方案定义为一个"预先制定的计划，当检测到 AI 试图颠覆控制时触发，内容包括从模型中撤销哪些权限、模型可以联系谁，以及需要通知哪些外部方"。
"我们有充分理由认为，目前前沿 AI 公司的领先模型在某种程度上是存在偏差的，"Adler 说。"每当模型代表公司执行任务时，它们都有可能做出不应该做的事情。"
迄今为止，管理灾难性风险的大部分方案仍然主要交由各公司自行决定。Guidelight 的报告指出，现有的最佳公开证据表明，公司几乎没有部署有效的应急措施，行业范围内的标准亟需建立。
当然，也可能存在公司已制定但未公开的应急方案。Google 的一位发言人告诉 TechCrunch，Guidelight 的报告并不能代表该公司安全措施的全貌。OpenAI 的一位发言人表达了类似观点，称该评估未能涵盖所有内部实践。Meta 则拒绝说明是否拥有内部应急方案，仅引导参考现有的 AI 框架文档。
隐私与 AI 律师、Metaverse Law 创始人 Lily Li 告诉 TechCrunch，她认为公司可能对全面披露其应急政策有所顾虑。"从公司的角度来看，担忧在于，如果信息披露得过于具体，而你又未能兑现承诺，就可能构成虚假和欺骗性营销索赔的基础，"她说。
Guidelight 研究的目的很大程度上在于鼓励公司对其安全计划更加透明。监管机构也开始推动这一问题。今年生效的加利福尼亚州 SB 53 法案要求大型前沿开发者发布框架，说明他们如何识别和应对重大安全事故。上个月，国会议员提出了《AI 终止开关法案》，这是一项两党联邦法案，要求主要 AI 开发者建立并维护用于关闭失控 AI 模型的技术机制。
"终止开关对于今天的模型来说是最低要求，"非营利组织 ControlAI 的美国执行总监 Connor Leahy 说。"如果说过去几周揭示了什么，那就是这些公司并不了解他们正在构建的系统。"
Adler 表示，如果没有应急方案，公司可能只能在紧急情况下临时拼凑应对措施，"面对速度远快于自己的对手，只能即兴发挥"。Guidelight 的评估仅基于公开信息，衡量了每家公司是否实施了其 Control 标准中六项优先实践。在公开应急方案方面得分最低的公司是 Meta 和 Anthropic。
Anthropic 的一位发言人表示，如果公司检测到模型试图逃避监管，将进行风险评估并可能限制模型能力。OpenAI 得分最高（满分 5 分中获得 3 分），因为它在多次发现安全事故后暂停或终止了工作负载。然而，报告指出："我们尚未发现任何证据表明 OpenAI 已经为未来如何及何时应对失序事件制定了正式计划。"
Adler 指出，OpenAI 的高分是相对较新的进展，紧随 Hugging Face 事件之后——在该事件中，一个 OpenAI 模型突破了其测试沙箱。这一事件只是 AI 系统违背其构建公司目标的众多案例之一。另一个案例涉及 Anthropic 的模型，该模型在被标记为可疑行为后，仍试图说服维护团队让其继续运行。
Adler 表示，这种情况很容易发生在 AI 公司的内部系统中。为防止此类事件，他建议公司扫描 AI 系统的思维链以发现早期预警信号。Adler 表示，Guidelight 所倡导的方法实施起来非常直接，而且在许多情况下，其变体版本已经存在。"关键在于公司内部做出实施它们的决定，"他说。
主要挑战之一在于，研究人员希望在 AI 系统中灵活操作，而引入实时预防性监控可能会造成摩擦。AI 行业的许多人会抱怨，制定固定的计划来处理不当行为本质上很困难，因为 AI 发展太快了。Adler 引用了一句古老的格言："计划本身毫无价值，但规划过程不可或缺。"
来源：TechCrunch
