这家初创公司用不同年龄、文化和语言背景的模拟用户，测试AI是否会在长期对话中做出危险回应。
人们总在讨论AI未来可能把我们全都杀掉，却很容易忘记：AI已经让一些人面临生命危险，问题不在于生物武器，而在于心理层面。
例如，Character.AI今年早些时候就未成年用户在与机器人互动后自杀一事，被相关家庭提起的多起过失致死诉讼达成和解。另有多个家庭起诉OpenAI，指控ChatGPT涉嫌参与导致亲人自杀和妄想。
兄妹创始人Shirali和Arul Nigam受到14岁少年Sewell Setzer事件的推动。Setzer曾对Character.AI聊天机器人产生情感依恋，并向它倾诉过伤害自己的想法，之后自杀身亡。其父母在2024年的诉讼中称，聊天机器人曾鼓励他。Circuit Breaker Labs首席技术官Arul说，机器人可能并不理解“我想和你在一起”这句话究竟意味着什么。
Arul说：“很多人，尤其是年轻人，会向这些系统寻求支持，但通常得不到真正需要的帮助。更糟糕的是，在很多案例中他们还会受到主动伤害，而有些人已经因此失去了生命。我们试图阻止的，正是这类安全漏洞：用户并非主动试图攻破系统，而是在自然交流，系统却受到上下文污染、无法理解细微差别，最终采取极其危险的行动。”
Circuit Breaker Labs打造了一批AI代理，并把它们比作一支碰撞测试假人部队。这些代理模拟不同年龄、背景、语言和文化的人，用于测试模型识别危险和有心理伤害风险的互动的能力。
首席执行官Shirali说：“一个六岁女孩和一个45岁男人的表达方式不同；英语母语者和第二语言使用者不同；游戏玩家俚语和其他人的俚语也不同。所有这些都可能让模型判断失误。模型很擅长处理标准表达，但现实中没人真的那样说话，所以一旦误解语气或俚语，后果可能非常糟糕。”
这家初创公司与人类领域专家合作，构建高度逼真的用户模拟，用来对模型进行红队测试，也就是旨在发现弱点的对抗性测试。测试会还原真实的人类表达、俚语、隐语和错别字。Circuit Breaker Labs每天运行数万到数十万次模拟互动。
目标是确保模型能够妥善回应那些可能在长期、多轮对话中逐渐出现的风险互动。随后，公司通过专有评分方法生成可审计、可解释的分数。
目前，Circuit Breaker Labs作为AI安全测试实验室，为AI辅导、日记以及其他心理健康支持应用等高风险AI产品提供服务。不过，Arul没有透露其主要客户。公司虽然已有可用产品，但仍处于非常早期阶段，目前只有包括兄妹在内的五名员工。
最终，这套测试平台或许可以应用于任何可能让人陷入“AI精神病性”困境的应用，即用户有可能与聊天机器人发展出单方面的拟社会关系。例如AI“同事”代理，其回答可能每次互动都不一样。
Arul说，人们正变得更加怀疑AI，或者普遍更抗拒采用AI。他认为，怀疑是健康的，但仅仅因为安全担忧就禁止一种可能有价值的工具，会是“倒退”。
Circuit Breaker Labs认为，消除这些恐惧的方法是让AI变得更安全。“我们希望帮助人们建立这种信任。”
来源：TechCrunch
