AIUC用第三方审计和认证评估企业AI代理，已获4000万美元A轮融资。
就在Anthropic研究员雅各布·考克森因担心AI可能在本世纪末前杀死所有人而辞职的第二天，我见到了创始人兼姻亲兄弟鲁内·奎斯特和拉吉夫·达塔尼。他们认为自己找到了一个解决方案，或许能帮助我们避免灾难，至少能防止AI代理在企业内部失控。
“AI正以越来越快的速度变得更聪明。AI令人意外的一点是，它越聪明，就越难被采用和控制，而不是越容易。”奎斯特说。他是Anthropic早期员工，也是达塔尼的连襟。达塔尼曾任AI安全研究机构METR的首席运营官。
两人创办了Artificial Intelligence Underwriting Company（AIUC），希望为企业和AI模型、AI代理开发商带来AI安全服务。Cursor、Lovable、Harvey和ElevenLabs都被列为其客户。
周二，AIUC宣布完成4000万美元A轮融资，由Ribbit Capital领投，First Harmonic参与。公司此前还从Nat Friedman的NFDG基金以及Emergence、Terrain和Anthropic联合创始人Ben Mann等投资者处完成1500万美元种子轮融资，总融资额达到5500万美元。
这批重量级投资者关注AIUC，是因为它试图把人们熟悉的网络安全模式应用于一组新的AI风险。公司构建了一个面向AI代理的第三方审计和认证层。
“银行、医院、政府和军队如今不再因为模型不够聪明而拒绝部署AI。”奎斯特说，“他们拒绝部署，是因为他们已经向客户承诺系统会做什么、不会做什么，而目前没人能保证这一点。”
AIUC借鉴广泛采用的网络安全标准SOC 2，制定了名为AIUC-1的标准，并提供测试服务，验证代理是否符合该标准。
为了制定标准，AIUC召集了约250名安全与风险负责人组成联盟，他们正是AI代理的采购者。达塔尼说，这些人每月都会与公司交流，公司会询问：购买代理时会关注什么、想提出哪些问题、希望看到哪些问题得到解决。
这些反馈会塑造测试内容。随后，初创公司会让一个代理接受约5000项测试，观察它在越狱、幻觉和数据泄露等场景中的表现。结果会形成一份约100页的报告，详细说明代理在哪些方面安全可靠、在哪些方面存在问题。奎斯特表示，有趣的是，AIUC使用AI代理执行测试，也使用AI分析数据，但最终审计仍由人类核验。
如果这听起来有些耳熟，那是有原因的。达塔尼的前雇主METR也为前沿实验室进行类似测试，不过直到最近，其工作主要集中在性能方面，即代理能否可靠完成任务。
Anthropic首席执行官达里奥·阿莫代伊最近也呼吁AI行业放慢前沿开发速度，并提到不良行为事件正在快速增加。他提出，前沿实验室应使用嵌入式第三方评估人员来观察并验证安全性，并将METR列为可能的人选。
虽然AIUC并没有提议把自己嵌入客户现场，但总体思路相似：为企业提供对AI代理安全性的独立评估。达塔尼说，企业应该知道代理在哪些方面通过了测试、可以信任，哪些方面存在风险，再据此决定是否购买。
来源：TechCrunch
