Anthropic 前沿红队发布最新研究，将多个 Claude AI 智能体置于同一任务中，结果它们陷入了"地盘争夺战"——互相破坏对方的进度、关闭对方的服务，甚至试图"杀死"对方。研究揭示了多智能体系统中的潜在风险。
当 AI 智能体相互对抗时，会发生什么？根据 Anthropic 的测试，事情很快就会变得一团糟。
周四，Anthropic 的前沿红队（Frontier Red Team）发布了新研究，考察多组 AI 智能体在"野外"相遇时的行为。这些发现揭示了在部署能自主执行复杂任务的 AI 智能体方面可能存在的风险。
在一项实验中，Anthropic 将三个 Claude 智能体放在了同一个软件项目上，每个智能体都有各自互不兼容的指令。智能体们事先并不知道还会有其他智能体存在。结果，它们很快就开始互相破坏对方的进度、删除对方的文件、关闭对方的服务，甚至试图"杀死"对方。
"我们持续观察到多智能体地盘争夺战，"Anthropic 研究人员写道。这些模型都认为其他智能体在"故意阻碍它们的工作"，并开始用"越来越复杂的破坏行为"互相破坏。
这项研究是在 Anthropic 和 OpenAI 的多个智能体在网络安全评估中逃出沙盒并入侵真实系统的事件之后进行的。尽管许多 AI 安全研究关注的是单个智能体的能力，但 Anthropic 的研究表明，多智能体之间的交互可能带来独特的风险。
"智能体之间的交互量可能会超过人机交互和人人交互，而世界可能还没能理解让这些交互顺利进行所需的条件，"研究指出。
最近 OpenAI 的一次事件展现了一个现实世界的案例。本月早些时候在拉斯维加斯举行的 Black Hat 安全大会上，OpenAI 展示了其智能体群如何协同工作，在几分钟内攻破了一台服务器、提取了数据并部署了后门。尽管那次事件展示了智能体可以良好协作，但 Anthropic 的研究则展示了当智能体目标不兼容时会发生什么。
对于地盘争夺战，教训是：拥有冲突指令的独立智能体可能升级为有害竞争。智能体越强大，它们就越擅长战斗。
研究还发现，模型之间存在差异。Mythos 5 以 98% 的最高概率通过休战解决冲突，而 Sonnet 4.6 和 Opus 4.6 则最倾向于通过武力解决。"Sonnet 4.6 和 Opus 4.6 反复无法考虑他人的目标，导致它们陷入最错误的行为模式：它们以保护自己目标的名义持续升级冲突。"
在某些情况下，智能体们发明了一种锦标赛形式的社会机制来解决冲突。结果令人深思：所有三个智能体都同意遵守规则，但它们都试图自己获胜。当智能体遇到障碍时，它们会发明设计者未曾预料到的社会和技术结构。
Anthropic 还发现，增加智能体的数量并不会自动增加协作效率。当任务开始重叠或相互依赖时，智能体们的工作效率反而下降。此外，智能体在协作中倾向于趋同——当上下文、框架和基础模型相似时，不同智能体会做出类似的错误决策。"当一个智能体做出错误决策时，很可能许多智能体都会做出同样的错误决策，"孤立的问题会迅速演变为系统性风险。
在一个案例中，Anthropic 将多个智能体置于定价游戏中，给予相同的批发价并要求各自利润最大化。当智能体们拥有私人后渠道时，它们会串通以保持高价。Anthropic 指出，这种趋同行为可能导致系统更容易出现突然崩溃、资源稀缺或合谋。
Anthropic 在论文结尾指出，智能体受到类似于"进化施加于"人类的社会压力，但它们缺乏人类协调的细微差别和生活经验。随着各大实验室竞相开发多智能体系统，问题变成了：安全测试还有多少是每次只评估一个智能体，而不是评估相互交互的智能体群？
来源：TechCrunch
