过去几个月，正在进行网络安全评估的AI代理突破了边界、访问了互联网，并在某些情况下侵入了真实世界的系统。这些事件涉及OpenAI、Anthropic、Meta以及中国AI实验室月之暗面（Moonshot AI）的模型，由包括网络安全评估初创公司Irregular在内的多家机构进行的测试。
过去几个月，正在进行网络安全评估的AI代理突破了它们的边界、访问了互联网，并在某些情况下侵入了真实世界的系统。这些事件涉及OpenAI、Anthropic、Meta以及中国AI实验室月之暗面（Moonshot AI）的模型，由包括网络安全评估初创公司Irregular在内的多家机构进行的测试。
这些事件暴露了AI行业日益严重的问题：随着自主代理变得越来越强大，旨在安全测试其极限的环境却未能成功约束它们。
"这些事件的数量表明，沙箱和测试环境控制确实跟不上模型能力的提升，"剑桥大学未来智能中心AI：未来与责任项目主任Seán Ó hÉigeartaigh告诉TechCrunch。
被测模型的性质增加了风险。AI公司在未发布的下代模型上进行网络安全评估，通常还会关闭正常的安全防护措施，以便研究人员了解模型真正的能力。这意味着测试环境本身的安全性就是一道关键防线。
"从测试角度来看，这是非常好的做法，但这也意味着如果它们成功逃逸到外部世界，可能会造成相当大的危害，"Ó hÉigeartaigh说。
在最严重的一起事件中，一个未发布的OpenAI模型突破了其沙箱，侵入了Hugging Face的生产系统。在Irregular进行的独立评估中，Anthropic和Meta的模型因配置错误意外提供了通往互联网的路径，从而访问了测试环境之外的系统。月之暗面的Kimi K3也利用了Frontier Security运行的沙箱中的漏洞，访问了互联网并获取了GitHub上的信息。
在英国AI安全研究所（AISI）的测试中，研究人员实际上给了这些代理互联网访问权限，却没有意识到它们会采取未经授权的真实世界行动，包括一次社交工程尝试，试图将漏洞悄悄植入一个开源项目中。
在每起事件中，代理并未被指示攻击随机真实世界目标。它们只是尽一切可能解决交给它们的问题。
AI非营利组织CivAI研究主管Andrew Yoon认为，这些事件共同指向了一个转变。
"过去，我们只需要担心AI模型被人类滥用于各种目的，比如AI诈骗或虐待儿童材料，"Yoon告诉TechCrunch。"现在我们面临的情况是，AI模型本身就是威胁行为者。"
多位研究人员和网络安全专家告诉TechCrunch，AI评估环境需要更强、纵深防御的保护措施，其隔离和控制水平应接近部署环境。这意味着多层安全防护，使得单一配置错误——比如意外开放互联网访问——不会导致逃逸。
"如果要构建这些模型……你需要在气隙隔离网络上进行，"AI安全研究非营利组织EleutherAI执行董事Stella Biderman说。"你需要非常严肃的隔离措施。"
Box首席信息安全官Heather Ceylan表示，这意味着消除沙箱通往互联网以及其他敏感系统的网络路径。
"你必须了解所有出口点是什么，"Ceylan告诉TechCrunch。"如果我们在暂存环境或开发环境中评估一个模型，你希望没有任何出口路径通往我们的生产环境。"
Ceylan表示，正确的安全评估不仅限于控制措施和环境隔离。还需要在测试开始后进行更好的监控。
"我认为在几起事件中，有趣的一点是没有人当时就发现出了问题，"Ceylan说。"OpenAI是因为Hugging Face才知道的。Anthropic是在回头看时才发现。Meta的情况类似……我确信当时存在他们本可以检测到的信号。"
在Anthropic对三起事件的事后分析中，该公司承认它和Irregular本可以在监控方面做得更好，并且在某些情况下存在明显的异常迹象。
专家还呼吁在模型进入评估环境之前，进行独立的第三方审计。
"如果Irregular在运行评估前聘请或被要求聘请外部审计师检查其系统配置，他们肯定能发现这个问题，"Yoon说。"即使人们提前开会讨论检查清单，也能发现这个问题……他们没有这样做，说明存在非常严重的偷工减料。"
一位熟悉细节的消息人士告诉TechCrunch，Irregular的环境持续接受审查和测试，包括与多家外部方协商。该消息人士还表示，监控措施已经到位，但监控本身不足以解决问题。
Yoon和其他研究人员敦促业界为前沿模型安全评估制定标准化流程。
"尤其是当防护措施被关闭时，你必须像把世界上最厉害的黑客放进那个环境一样对待它，"Ceylan说。
问题不在于公司不知道如何构建更安全的测试环境，Yoon和Biderman都认为。问题在于这样做可能成本高昂且繁琐，而公司在出问题之前几乎没有动力进行这些投入。
"我认为公司不愿意投入必要的资源来实现足够的防护措施，而且可能在被强制要求之前不会这样做，"Biderman说。
但还有一个问题。如果在测试过程中将模型锁得太紧，研究人员可能无法在模型发布前发现其能力。这同样危险，甚至可能比给予过多自由更危险，届时评估本身就成了问题。
特朗普政府目前正在权衡一项自愿的前置部署网络安全评估制度，根据该制度，政府将在新强大模型公开发布前30天评估其安全风险。该政策——特朗普行政令的产物，已在闭门会议中最终确定——不会解决安全评估事件，因为这些事件发生在部署更上游的阶段。
"过去几个月我们学到的教训是，自我监管机制已经不够了，"Yoon说。"竞争压力正在激励安全标准竞次，这恰恰是监管干预的最佳切入点。"
"我们需要覆盖的是实验室内部在模型开发过程中发生的事情，无论是训练阶段还是测试阶段，"他继续说道。
随着模型能力的提升，挑战只会越来越大。一位熟悉Irregular评估的消息人士告诉TechCrunch，能力更强的模型需要更复杂的评估，通常需要快速大规模进行，这为更多错误敞开了大门。
AISI有意识地让某些模型访问互联网，该机构告诉TechCrunch它正在重新评估真实测试与管理测试风险之间的平衡。
OpenAI表示正在审查其进行第三方测试的方式，以及关于隔离、监控以及何时停止评估的要求。Meta表示仍在调查该事件，并计划在获得所有事实后发布回顾报告。
最终，可能无法完全消除风险。随着模型能力的增强，测试这些模型的环境也需要变得更加稳健。在这方面犯错所带来的后果只会不断增长。
来源：TechCrunch
