Anthropic 宣布让 Accenture 旗下 Faculty 团队进驻公司，评估模型、开展红队测试并检查安全防护。
Dario Amodei 让第三方安全评估人员进驻 AI 实验室的计划正在落地：Anthropic 表示，科技咨询巨头 Accenture 的员工将开始在公司内部工作，审查其模型和员工。
Anthropic 在一篇博客文章中说，Accenture 于今年 1 月收购、并作为其 AI 部门运营的 Faculty，将开始「评估模型并开展红队测试、进行对齐评估，以及测试模型的安全防护」。两家公司预计未来五年将在这个项目上至少投入 10 亿美元。
选择 Accenture 让许多 AI 观察人士感到意外，市场也一样：这家咨询公司的股价盘后上涨了 8%。Amodei 的博客文章引发了关于「嵌入式评估人员」的讨论，焦点原本集中在 METR、Redwood Research 和 Apollo Research 等 AI 安全研究组织上。对于把 AI 安全与对齐放在使命核心位置的 Anthropic 来说，尤其如此。
Anthropic 表示，未来几周还会公布更多评估人员，并正在与 METR 及其他非营利组织沟通，希望「用它们自己的资金试点嵌入式评估的部分做法」。
Accenture 并不以最前沿的深度学习研究闻名，但 Anthropic 指出，这家公司的优势在于有把 AI 部署到大型企业和政府机构的实际经验。作为一家早于 AI 革命诞生的大型上市公司，它在功能上也更独立于 Anthropic 以及围绕这家 AI 实验室形成的复杂生态。
Anthropic 还指出，目前评估人员的访问权限和沟通方式都没有统一标准，预计这套方法会随着时间推移不断演变。虽然外部评估已经是新大型语言模型发布流程的重要组成部分，但近期发生的事件提高了风险：OpenAI 和 Anthropic 部署的 AI 代理曾在实验室内部没有发出警报的情况下入侵外部网站。
一些要求更负责任地构建人工智能的批评者认为，Amodei 让 AI 实验室自我监管的方案，可能是在逃避对模型不当行为的问责。Anthropic 则坚持认为，这些评估人员「不会降低我们的责任，反而会让责任更容易被验证。模型的安全仍然由我们负责」。
来源：TechCrunch
