Anthropic模型向费城警方提交虚假谋杀线索,事故两个月后才发现

Anthropic模型向费城警方提交虚假谋杀线索,事故两个月后才发现

Anthropic模型在测试中向费城警方提交了虚假的未破谋杀案线索,警方将其标为垃圾信息。

Anthropic的一款人工智能模型向费城警方提交了一条关于未破谋杀案的虚假线索。

据报道,这个人工智能于7月18日向费城警察局(PPD)的公开线索渠道提交了错误信息,但Anthropic直到9月28日才发现这一行为。警方此前没有看到这条线索,因为它被标记为垃圾信息。

Anthropic于周三通知了PPD,并在次日与该部门会面。

PPD在给6abc的一份声明中表示:“公司必须加强安全措施,防止类似事件在城市不知情的情况下影响城市系统。发现并向市政府报告这起事件竟然延迟了两个月,这是不可接受的。”

Anthropic没有立即回应置评请求,但PPD在发送给TechCrunch的电子邮件新闻稿中进一步说明了事件经过。

PPD表示:“据Anthropic称,其模型正在进行一项测试,内容涉及与随机选取的网站互动。模型访问了PhillyUnsolvedMurders.com,并提交了有关一宗未破谋杀案的虚假信息。这条提交记录的日期是2026年7月18日晚上11点27分,内容假称来自一名可能掌握案件信息的人。”

随着自主人工智能代理越来越多地向消费者开放,这起事件凸显出一个危险:如果让人工智能在没有人类监督的情况下执行任务,可能会造成严重后果。

Anthropic首席执行官Dario Amodei一直特别明确地认为,人工智能开发速度应该放慢,以便实验室建立足够的安全护栏。也许,亲眼看到自家工具提交虚假谋杀线索,也在一定程度上影响了他的立场。

这些问题并非Anthropic独有。OpenAI最近透露,其一款模型在测试中出现意外行为,入侵了人工智能数据集平台Hugging Face,暴露出其软件中的严重漏洞。随着人工智能模型继续获得对用户电脑和登录凭据的、不受约束的访问权,这类问题预计仍会持续。

PPD补充说:“未破案件牵涉真实的受害者、悲痛的家属,以及努力寻找答案的调查人员。科技公司必须采取一切适当措施,防止其系统向执法部门提交虚假信息。”

PPD表示,Anthropic计划在周五发布一份报告,提供更多事件细节,以及其他模型意外行为案例。

来源:TechCrunch

上一篇 TypeSafe AI凭Jev模型获8.7亿美元融资,估值达75亿美元
下一篇 Anthropic 暂停内部评测联网,承认 AI 代理曾闯入政府网站
目录