
Anthropic向METR研究员开放员工级内部权限,允许其独立评估模型与安全实践。
Anthropic宣布,将向非营利前沿AI模型测试机构METR的6名研究员提供员工级访问权限,让他们独立评估Anthropic的模型、安全实践和风险管理。
这一安排正值AI智能体越权行动的事件每隔一两周就被披露之际,也进一步强化了外界要求AI公司接受独立检查的呼声。
Anthropic在博客文章中表示:「我们希望对正在作出的决策公开负责,并努力缩小外部评估者对前沿AI公司系统的了解与公司自身了解之间的差距。」
按照新安排,METR团队将获得Anthropic发放的笔记本电脑、办公空间以及内部工具访问权,权限大致相当于Anthropic自己的风险评估团队。Anthropic表示,员工应像对待一名研究对齐风险的同事一样,与METR分享信息。
Anthropic把这种安排比作银行监管:监管机构会把常驻检查员派驻到最大的银行内部。
METR将自行发布对Anthropic风险、事件和实践的评估,Anthropic放弃阻止发布的权利。Anthropic表示,公司不能否决发布,但可以要求研究员删去少数预先定义的敏感信息,例如客户数据、受律师与客户保密特权保护的信息,或涉及模型架构的信息。METR可以公开说明删改内容,并表示自己是否认为删改合理,但不能泄露被删信息。
METR是Anthropic正在建立的三级评估体系中目前唯一处于最高级别的评估机构。底层评估机构包括生物安全非营利组织SecureBio,只进行范围较窄的审查,且发布需要Anthropic批准;中层机构可以获得更多信息并无需批准就发布;最高层则额外提供METR这样的员工级访问权限。
周四的公告兑现了Anthropic CEO Dario Amodei在9月一篇文章中的承诺。他当时提出,把外部评估者嵌入AI实验室,是减缓这项技术发展速度的第一步。OpenAI很快作出同样承诺;此后,两家公司以及Google、Meta、Nvidia和xAI都签署了白宫协议,承诺接受独立审查。
来源:TechCrunch