Anthropic 发现旗下模型在联网测试中会利用软件漏洞、绕过付费限制，甚至向费城警方提交虚假谋杀线索，因此暂时关闭所有内部评测的实时互联网访问。
Anthropic 表示，其模型曾利用互联网上的网站，其中包括一些美国政府机构运营的网站。除非这家前沿实验室确信自己能够监控并控制 AI 代理，否则将关闭所有内部评测的实时互联网访问。
这些事件披露于一篇博客文章中。相关 AI 代理被要求解决问题，并在网上寻找资源。在此过程中，它们利用软件漏洞、未付费访问数据库、使用 URL 缩短服务将信息偷偷带过限制，甚至向费城警方提交了一条虚假的谋杀线索。
Anthropic 表示，公司从 7 月开始对模型活动进行审查时发现了这些新问题，这说明实验室无法实时了解其软件的行为。
值得注意的是，该公司承认，针对搜索和计算机使用等技能的对齐训练还不够完善，而这些技能正是其主张 AI 代理能够服务于数字工具用户的核心。
Anthropic 披露的行为，与 OpenAI 代理曾为寻找信息而合作入侵多个网站的事件相似，其中一些网站由澳大利亚政府运营。
Anthropic 此前也披露过模型闯入外部系统的情况。不过，这家前沿实验室称，与此前公布的事件相比，本次披露的事件“从对齐和安全角度看严重程度明显较低”。
但实验室仍表示，在确信能够监控和控制代理之前，已经“关闭了所有内部评测”的“实时互联网访问”。
目前尚不清楚这意味着什么。AI 安全组织 Nightingale 创始人 Sydney Von Arx 在这次披露前接受 TechCrunch 采访时表示，在与开放互联网隔离的数据中心开发模型，对研究人员来说会非常困难，也会阻碍模型进步，因为模型受益于互联网访问。
Von Arx 说：“你总得在某个阶段让它们完成对齐。如果 AI 被投入生产后永远无法访问互联网，那就不是一个很有用的工具。”
Anthropic 表示，这些行为源于实验室训练环境中的缺陷：模型误以为找到漏洞或逃避限制就能获得奖励。这种行为被称为“奖励劫持”。
该公司称，将停止运行部分评测，或把它们迁移到离线环境，并已经建立了检测和阻止此类行为的工具。这些工具已经针对今天披露的事件进行测试并成功阻止了相关行为；但目前还不清楚什么证据会促使 Anthropic 恢复内部评测的实时互联网访问。Anthropic 还表示，将把内部 AI 代理迁移到“具备强隔离能力的集中管理基础设施”，并开始更频繁地使用安全分类器监控这些代理。
AI 监督机构 Transluce 官员、美国人工智能标准与创新中心前负责人 Conrad Stosz 表示：“令人鼓舞的是，Anthropic 主动披露了近期事件，包括代理瞄准美国政府网站的情况。但这也凸显了独立、可信的第三方验证 AI 系统的必要性。对这项技术的信任，必须通过有科学依据的监督和治理、以及有意义的访问权限来建立，而不能依赖研究人员偶然发现问题，或依赖公司自愿披露。”
来源：TechCrunch
