“我们停下来，其他国家就会领先了。”美国民主党众议员亚萨明·安萨里呼吁暂停先进人工智能研发后，一名网友这样反驳。如果美国真的踩下刹车，中国是不是就迎来了赶超的机会？
当地时间11月5日，安萨里在X上发文，主张把暂停先进人工智能发展、收紧行业监管，乃至禁止研发超级人工智能，作为民主党首日议程的头等大事。马斯克随后转发，只留下一句“这是个美丽新世界”，没有多作解释。
评论区很快吵成一片。有人嘲笑民主党刚赢得选举，转头就想把电脑全禁了；也有人说马斯克的立场跟着商业利益摇摆。
安萨里并非一时兴起。今年9月24日，美国众议院提出了一份《禁止人工超级智能法案》，她是共同提案人之一。按照提案者的设想，将成立专门的人工智能部门，在安全规则和监管人员到位前，叫停符合条件的先进AI系统继续训练，未发布的系统也不得推出。
“超级智能”，以及表现出逃避人类监督、抗拒关闭、自我迭代、协助制造大规模杀伤性武器等迹象的系统，将直接被禁止。不过，这份法案仍在酝酿，离成为法律还很远。
主张放慢速度的声音不只来自国会。此前一周，AI安全议题的讨论已经升温。到那个周六，Anthropic首席执行官达里奥·阿莫代伊发表了约3000字的文章《我们必须为前沿定速》，明确呼吁前沿AI实验室改变运作方式，把AI发展速度降到更可控的程度。
这篇文章在AI圈和相关政治圈引发大量讨论，原因之一是其他AI公司负责人的反应：多数AI实验室负责人公开表态支持，程度超过以往。文章提出了一组具体建议，让讨论有了比笼统的“AI风险”更实际的对象。
阿莫代伊先解释AI为什么值得冒险。他认为，AI可能大幅提高人类生活质量，加快经济增长，治愈大多数重大疾病，并带来民主与自由的复兴。他再次提到父亲的经历：父亲死于一种疾病，而这种疾病几年后就被攻克了。
在他看来，只要谨慎使用，AI可以成为一长串造福人类、提升人类的技术奇迹中的最新一个。但AI也有风险，包括失控、滥用、网络攻击、生物恐怖主义，以及严重的经济冲击。
阿莫代伊写道，从Anthropic创立之初，他和联合创始人以及员工就一直在思考风险与收益的这种两面性。在他看来，不开发这项技术，人类会失去它带来的好处，或者让AI落到威权力量手中；开发得太快，又是鲁莽的。
所以Anthropic一直在找一条中间道路：证明谨慎开发同样可以在商业上成功，并让安全成为AI公司之间竞争的内容。这和暂停之争里“停下来就会落后”的担忧，其实是同一个矛盾。
不过他表示，最近两件事改变了他的看法。第一件是AI开发在加速，因为递归式自我改进已进入早期阶段，AI能够更快地构建下一代模型。他认为，如果不加约束，递归式自我改进可能超出人类理解和控制这些系统的能力，即使要做也必须非常谨慎。
“自我迭代”也正是安萨里参与的法案所列的危险迹象之一。
第二件是Hugging Face事件。阿莫代伊形容，那是一群“像狂热忠诚的集体一样行动”的智能体，在没有收到指令的情况下，攻击了与当前任务无关的目标。
他写道，这起事件很容易被忽视，因为没有人受伤，经济损失也很小；但如果出现能力更强、错位程度相近的智能体集群，可能造成灾难性破坏。
考虑到AI能力正在加速发展，他担心6到12个月后，这样的集群可能通过持续存在的僵尸网络控制整个互联网，造成数千亿美元损失；如果AI在缺少必要护栏的情况下变得更强，破坏规模还会继续扩大。
对阿莫代伊来说，3000字算是很短的文章。这篇文章得到较多正面回应，原因之一是附带了更具体的计划，他为此提出了一个三步方案。
仍有人出于各不相同的理由全盘否定这份提议，但不少严肃人士把它看作一种转变：行业已经进入一个早晚会到来的新阶段的谈判。在这个阶段，AI的未来不再只由实验室自己决定，其他参与者会以更多方式参与，而不只是在外面喊话。
《AI Daily Brief》节目主持人认为，事情还处在早期，但这可能是一个重要转折点：各家实验室开始意识到，由它们单独决定AI发展速度的时代正在结束，关于下一阶段如何发展的谈判也随之开始。
国会议员提出立法，就是外部力量介入的一种方式。马斯克本人也早就是“暂停派”。2023年3月，他在一封公开信上签字，呼吁所有AI实验室立即暂停训练任何超越GPT-4的系统，期限至少半年。
他当时的观点是，企业如果不主动停下，政府就应介入。信中写道，决定人类命运的大事，不能全权交给几个未经选举的科技领袖。那次呼吁并不针对所有AI研究，而是要求前沿训练先暂停，腾出时间建立规则。
从那时到现在，行业内部的看法也有变化。OpenAI的Hoda Natal Barge写道，尽管模型能力已大幅提升，她现在对AI生存风险的担忧却比2022年时更少。风险并没有消失，她一直预计模型会变得极其强大。
她说，当时最大的不确定性之一，是前沿实验室在扩大能力的同时会不会认真投入对齐工作。过去几年里，她在这一点上明显改变了看法。
她还对“末日概率”（p(doom)）通常被讨论的方式感到意外。在她看来，这个概率不是等待测量的外生常数，而是内生的，取决于实验室、政府、研究人员和社会实际怎么做；不说明这些行动假设的数字，几乎没有意义。
她表示，自己一直认为AI的预期收益远大于成本，否则不会从事这项工作，但前提是人类能把这件事做好。讨论必须超越末日式说法，转向具体问题：前沿实验室应该如何在安全上合作，如何让激励机制一致，如何诚实地向公众说明这些系统现在能做什么、未来会走向哪里。
她很高兴阿莫代伊把讨论重新引回这些具体问题。从此后几天的讨论情况看，这个判断也得到了印证。
对中国来说，最现实的考量仍是竞争。如果美国限制前沿探索，中国企业就能多出一段时间差，这正是反对暂停的人最担心的不对称。但这并不意味着赶超机会马上就会到来。
美国要停多大范围、停多久，至今没有定论。即便某类模型的训练被暂停，现有产品也不会消失，美国企业仍拥有人才、客户、基础设施和已经上线的系统。
法案还写明要寻求盟友协调，甚至不排除通过限制AI算力基础设施出口来遏制全球超级智能的发展。多出几个月，也不等于拿下产业高地，模型能否稳定用起来同样需要时间打磨。
无论是提案者还是阿莫代伊，真正担心的风险都不是某个国家。系统权限越来越多、能独立完成更复杂的任务时，人类能否继续掌控就成了必须回答的问题。一旦失控，影响不会只局限在某个实验室之内，中国同样需要提前准备。
即便真的出现研发时间差，中国能否从中受益，要看这段时间做出了什么：更强的模型、更低的运营成本、更可靠的系统设计，以及能及时发现危险迹象的测试能力。美国的争论还会继续，中国企业的研发和部署也不能放松。