比尔·盖茨发出严厉警告：AI若被恶意利用，极端情况下或引发导致10亿人死亡的事件。

在即将播出的NBC《与新闻界对话》采访中，盖茨说出了这个数字。他担心有人借助最新AI工具制造大规模伤亡，甚至把“怀有恶意的人使用最新AI工具”这个组合，形容为史上未有的强大武器。他还直言，光靠科技公司自己管自己远远不够，安全要求必须有强制力。

采访是在9月23日进行的。两天后，NBC放出片段，“10亿人”几个字迅速传开。有人看完心里发毛，也有人觉得这话太吓人。

可盖茨讲的究竟是什么？他没有说灾难已经发生，也没有拿出一份能算出10亿人死亡的预测。他是在追问：当越来越强的工具落到想害人的人手里，我们准备好拦住他们了吗？

先看网络攻击。过去，要找到系统漏洞、写出能用的攻击程序，得有相当的本事。现在，AI能帮人查资料、分析代码、反复修改。用它找漏洞、补漏洞，是好事；有人拿同样的能力寻找可乘之机，守门的人就得面对更大的压力。

把这个风险放到医院，分量一下就不一样了。

如果急诊的系统打不开，医生调不出病历，检查结果迟迟传不过来，受影响的是等着救治的病人。换成电网、供水系统，麻烦还会顺着一座城市的日常生活往外扩。这些不是已经发生在某家医院的故事，却解释了盖茨为什么反复提到关键设施。

还有一类风险，听起来离普通人更远：生物安全。

AI可以帮助研究人员寻找新药、改进疫苗，也可能帮心怀恶意的人获取原本难以理解的专业信息。不过，从得到信息到造成现实伤害，中间仍有技术、设备等许多关卡。不能把盖茨的担忧，听成“任何人打开聊天软件就能制造灾难”。真正值得盯紧的是，工具继续变强时，这些关卡会不会被一点点削弱。

极端风险尚有许多未知，眼前的小风险却已经找上门了。

手机响了，传来的声音很像家人，说自己急需转钱；一段视频里，熟悉的人一本正经地说着从未说过的话。骗子过去要费力编的局，现在能做得更像、更快，还能一次发给更多人。被骗的人损失的是实实在在的钱，旁观的人则越来越难一眼分清真假。

话说到这儿，再回头看盖茨要求监管，就容易理解了。公司可以设防，也可以测试模型，可测试做到什么程度、发现风险要不要公开、出事后由谁负责，不能永远只等公司自己给答案。

他希望立法者和执法部门参与，把安全保障和监测要求定下来，而且必须执行。新工具推出前，高风险能力有没有测过？发现有人反复滥用，谁能及时介入？事故发生后，调查者能不能拿到必要的信息？这些听着像流程，关键时候却可能决定损失能否被挡住。

规则也得拿捏好分寸。能帮坏人找漏洞的AI，也能帮工程师把漏洞补上；能被滥用于生物领域的知识，也在帮助医生和研究人员救命。盖茨本人仍看好AI改善医疗和教育。越是想把这些好处留下来，越不能让安全问题一直靠运气。

“10亿人”让人停下来读这条新闻，但更该记住的是后半句：风险还没有变成那个数字，规则就得先跟上。等事情真出了，再问当初为什么没人守门，就晚了。