一份由聊天机器人生成的虚假情报，险些让美国对一艘中国船只发动武装行动。
今年春天，军用飞机已经升空，美国官员才发现：一场针对中国船只的武装行动，其依据的情报竟然是AI聊天机器人“幻觉”出来的。CNN周五报道，这场行动在最后一刻被叫停，险些避免了与中国发生潜在冲突。
这起事件凸显了军事官员和外部专家日益担心的问题：随着决策者越来越依赖AI，系统产生的错误可能在未经质疑的情况下沿着指挥链向上传递。
这份情报报告在与伊朗的战争期间流传，声称该船正在运送核武器项目所需的部件。
虚假情报来自特种作战司令部的一名分析员。该分析员向聊天机器人提问，让它把公开来源数据与机密信号情报综合起来。聊天机器人错误识别了船只的货物清单。随后，分析员又使用该工具，把错误结论整理成一份看起来像正式文件的摘要，并通过各级指挥渠道传播。
这次险情发生之际，美国军方正急于整合AI，以加快决策速度并保持对中国的优势。五角大楼称，AI能显著加快“杀伤链”，让指挥官及时响应。但让AI变得有吸引力的速度，也可能在缺少足够人工监督时加速幻觉传播。
GovAI研究学者、美国陆军退役军官Jake Steckler在书面回复TechCrunch时说：“军人理解大语言模型固有的不确定性非常重要。但对于可能导致使用武力的决定，例如目标选择、情报分析或作战规划，这一点尤其关键。这些决定会带来生死后果。”
不过，Steckler认为，这起事件应该推动人们为AI增加更多安全措施，而不是彻底放弃AI。他说：“在合适的场景和适当的安全措施下，这些工具可能很有用。但如果把采用速度置于一切之上，很可能会导致更多事故，最终让军人失去对系统的信任，而这只会拖慢AI的采用。”
来源：TechCrunch
