Anthropic和OpenAI愿意让第三方评估员深入公司内部检查模型安全，但评估权限和公开结论的独立性仍待验证。
Anthropic CEO Dario Amodei 周末发表了一篇长文，提出了一个 AI 行业在一年前可能会立刻否决的方案：让第三方评估员进驻所有前沿 AI 公司，赋予他们报告安全事故、评估 AI 模型是否真正对齐，并向世界分享未经修饰调查结果的权力。
Amodei 表示，Anthropic 将承诺向 METR 和 Redwood Research 等独立评估机构提供前所未有的系统访问权限。OpenAI CEO Sam Altman 也表示 OpenAI 将作出同样承诺，这表明行业与外部研究团体合作的方式可能发生深刻变化。
接受 TechCrunch 采访的第三方评估员普遍欢迎这一提议，但他们表示，如果想确认自己是真正独立的监督者，而不是按照 AI 公司条件工作的供应商，具体细节仍需完善，最好还要有法律支持。
随着模型越来越擅长识别自己是否正在接受评估，这种深入访问变得更加重要。模型可能在测试期间表现良好，同时隐藏有问题的行为。研究人员称，测试完成后的成品模型可能暴露不出这些线索，但调查模型在整个训练过程中的表现却可能发现它们。
Apollo Research 研究负责人 Alexander Meinke 表示：“AI 公司应该能够回答一些关于训练过程的基本问题，比如 AI 在接受自身对齐训练时，是否曾主动试图破坏这项训练？答案应该明确是否定的。但现在，我们完全依赖 AI 公司自行仔细检查，再如实向公众报告。近期事件已经表明，默认情况下它们两件事都不会做。作为驻场评估员，我们实际上可以进行检查。”
过去，AI 公司通常在模型发布前不久邀请外部审查者测试已经完成的模型。如今，TechCrunch 采访的评估员建议，不仅要访问最终模型，还要访问模型整个训练生命周期中的中间版本，也就是“检查点”。FAR.AI CEO Adam Gleave 表示，评估员可以比较这些检查点，确定令人担忧的行为何时出现；检查训练后环境如何奖励模型的特定行为；并查看评估记录和日志，核实公司关于模型表现的说法。
目前尚不清楚 Anthropic 和 OpenAI 是否以及何时会提供这种访问权限。尽管 TechCrunch 多次询问，两家公司都没有说明将与哪些评估员合作、他们何时进驻、会引入多少人，以及他们究竟能访问哪些系统和信息、哪些内容可以向公众披露。
问题在于，在安全测试中表现良好的模型未必安全，因为它可能只是学会了如何通过测试。Palisade Research 战略负责人 John Steidley 指出，一个衡量 AI 在特定情况下是否抵抗关机的“关机抵抗基准”就是例子。
Steidley 说，如果 AI 曾专门接受训练以在这个基准上取得好成绩，那么这件事就非常关键。他把它比作大众汽车的“柴油门”丑闻：汽车被编程识别排放测试，并在测试条件下表现不同。
Gleave 表示，有意义的访问权限还可以延伸到模型本身之外，让评估员访谈员工，以检查公司文档和公开描述的安全实践是否与内部实际发生的事情一致。
Amodei 确实提出了一套相当完整的方案，可能赋予评估员他们认为必要的权限，包括在没有 Anthropic 编辑控制的情况下，发布关于风险水平、事故、实践以及他们获得或未获得哪些权限的关键发现。
但评估员表示，只有 AI 公司真正愿意放弃对流程的控制，这套系统才会奏效。过去的独立评估表明，这种让步很难获得，第三方经常在访问权限、时间、保密义务和公开发言范围方面遇到冲突。
Gleave 说，FAR.AI 曾不得不拒绝几家前沿模型开发商的合同，因为对方想对评估过程施加过多控制，威胁到该机构的独立性。按默认做法，评估员会被当作普通承包商，受严格保密协议约束，开发商也能显著控制最终可以发布的内容。
另一个问题是，评估员是否能获得足够的时间和权限。调查 Hugging Face 事件时，OpenAI 给 METR 和 Redwood 大约一周时间在现场调查，两家机构之后都表示，由于范围和时机限制，他们无法得出有把握的结论。
类似问题也出现在 GPT-6 Astra 发布前的测试中。OpenAI 曾称 Astra 是其目前对齐程度最高的模型。根据 Apollo Research 对模型卡的贡献，该机构只有三天时间测试 Astra，因此很难得出确定结论。
Apollo Research 在评估中写道：“考虑到模型评估意识更高，而评估窗口又很有限，这里的低误行为率并不能为模型的对齐或不对齐提供充分证据。”
这段经历让评估员留下一个基本问题：为什么这次会不同？
Gleave 说：“Dario 和 Sam 当然可能真的改变了想法，打算非常开放。但这些公司的知识产权对它们极其宝贵，我认为它们默认会非常谨慎，控制能够分享的内容。”
多名接受 TechCrunch 采访的研究人员呼吁建立一套大家公开认可的透明框架。Steidley 说，框架的一部分应当规定公司可以依赖哪类审计员，否则公司可能通过挑选没有资质、或不愿评估最严重风险的评估员来绕开问题。
Safer AI 执行董事 Henry Papadatos 表示，即使有公开框架，问题仍在于自愿措施始终依赖公司的善意。
Papadatos 说：“理想情况下，我们需要良好的监管来强制执行，因为这样一来，公司明天就不能因为遭遇重大公关危机而改变主意。”他还指出，这也是推动所有公司遵守规则的好办法，而不仅是那些最愿意配合的公司。
目前并非所有公司都已加入。Meta、SpaceXAI 和 Google DeepMind 尚未承诺引入第三方评估员，但 DeepMind CEO Demis Hassabis 提议设立独立测试前沿模型的行业标准机构。Google、OpenAI 和 Anthropic 也已经私下讨论 AI 安全计划数周。
一些围绕第三方评估员的法律已经开始形成。去年签署的加州 SB 53 要求大型前沿 AI 开发商公布安全框架并报告重大安全事故。本月签署的新法 SB 813 则建立了由州政府认可的“独立验证组织”框架，这些组织需要具备评估 AI 风险的专业能力。
在欧洲，《欧盟 AI 法案》要求前沿模型开发商开展并记录模型评估和对抗性测试，并报告严重事故。欧盟 AI 办公室也可以自行开展评估并任命独立专家。
目前，法律的覆盖范围仍小于 Amodei 提议的方案，前沿实验室很大程度上仍可自行决定接受多少独立审查。Papadatos 说，自愿自律总比什么都没有好，但公司不能一边要求自由控制自己的安全规则，一边又要求公众相信它们确实遵守了规则。
Papadatos 说：“你不能两头都要：对外部问责完全不负责，却又说‘我会制定自己灵活的规则’。”
来源：TechCrunch
