战机已经升空,士兵做好登船准备,目标直指一艘中国船只。就在行动即将启动的最后关头,一名美军官员重新核查底层情报才发现,这次行动的依据,可能从头到尾是AI编出来的误会。
9月18日CNN披露,今年春季美国对伊朗采取军事行动期间,美军内部曾流传一份情报,声称有中国船只在中东向伊朗运输核武器计划所需零部件。
这类信息一旦坐实性质极其严重,美军很快围绕该船制定行动方案,计划派武装人员登船检查,同时安排战机空中支援。等流程推进到最后阶段,离真正动手只剩几分钟。
就在这个节骨眼上,有人决定把这份报告的来源往深了追一层,结果惊出一身冷汗:这份格式正规、术语齐全、编号完整的情报,根本不是来自可靠侦察链条。
这份假情报是美国特种作战司令部一名分析师询问AI聊天机器人生成的。他把船只货单等信息输入AI,AI混糅公开资料和部分机密信号情报,给出了完全错误的肯定判断。
之后分析师又让AI把错误判断整理成标准情报报告,这段没经过有效核验的机器输出,就被包装成符合军方格式的正式文件,在内部系统一路流转到决策层。
CNN消息人士称这是“教科书式的AI胡扯”,另有知情人士直言:“AI让你更快地得出一个坏主意。”这事关重大,AI参与的不是普通文职工作,是核心军事判断。
一旦美军真的以检查为名登上中国船只,极可能引发剧烈的外交、军事反应。当时美国正对伊朗作战,任何针对中国船只的行动,都可能把地区冲突升级为中美对抗。
直到现在,美媒都没公布这艘船的具体船名,也没说清船上到底装了什么。唯一确定的是,这份假情报差点把未经证实的猜测,变成真实的军事行动,央视9月19日也报道了此事。
更棘手的是,这份报告完全没有明显的“机器味”,格式、术语、编号全符合军方文件要求。AI制造的错误不是荒唐的文字,而是披着正规外衣的错误结论。
这就是AI“幻觉”最危险的地方:它不会语无伦次,反而表达流畅、语气笃定,把不存在的事实说得像亲眼所见,不会因为证据不足停手,也不会主动说“我不知道”。
相关研究早就证实,大语言模型的事实性错误不是偶然。中国人民大学研究将这类问题分为实体错误、关系错误、时效错误等,背后是训练数据偏差、模型模仿行为等多重原因。
斯坦福大学针对26个主流大模型的研究显示,它们的事实性幻觉率在22%到94%之间。哪怕错误率只有几个百分点,放到军事领域,也足以造成无法挽回的严重后果。
美军自身的使用环境又放大了这种风险。据CNN了解,美军内部大量使用的AI系统,只是给商业模型做了军事化包装,针对战场环境的测试和安全验证严重不足。
美军各部门使用的模型不统一,全军缺少统一的审核标准、验证流程和责任机制。年轻分析师更容易把AI生成内容当成可靠答案,让技术故障演变成组织层面的习惯问题。
只要文件看起来像正式情报,很多人就默认它已经过筛查,没人愿意回头核查最初数据来源、证据是否匹配结论。美国正砸重金推动科技公司深度参与国防建设,制度建设却没跟上技术入军的速度。
类似的教训刚发生没多久。今年2月28日美军对伊朗行动首日,一枚“战斧”导弹击中伊朗南部米纳卜市一所女子小学,造成百余名学生死亡。
后续信息显示,美军数据库里该地点的资料已经过时十多年,AI直接沿用陈旧数据,把学校错误标记成了军事目标。AI不仅会凭空编造,还会快速拼接错漏矛盾的信息推到决策环节。
它确实能把数周的分析工作压缩到几分钟,但也能把本该人工反复确认的错误,快速推成“高优先级目标”。可即便出过这样的事故,美国国防部也没放慢AI军事化的脚步。
今年1月五角大楼发布《人工智能加速战略》,提出建设“AI优先”作战力量,把AI进一步嵌入情报、指挥、打击全链条,还设专门团队扫清部署障碍,推动相关能力快速落地。
美媒那句“Grok进来了,伦理出去了”的讽刺,戳中了现实矛盾:机器一直在踩油门,却没人明确该由谁来踩刹车。这不禁让人想起1993年的“银河号”事件。
当时美国认定中国货轮运输化学武器原料,强行要求登船检查,货轮被迫在印度洋停留10天,最终什么违禁品都没找到。那次的错误情报,至少还是人亲手撰写、层层传递的。
33年后制造错误的门槛已经低得离谱,一名分析师只要输入几句话,就能让AI生成一份像模像样的情报文件。机器让错误传播更快,也让人更容易忘了追问结论到底有没有实据。
这次能避开危机,靠的不是更先进的防火墙,也不是什么神奇算法,只是有个人愿意多看一眼底层材料。AI能加快判断速度,却替人承担不了后果。
机器跑得越快,人类越要保留那份较真的劲儿——因为战争最危险的瞬间,从来不是炮弹发射之后,而是未经核实的错误被当成了板上钉钉的事实。