如何实现递归自我改进？答案可能让大家绝对想不到——竟然是靠做梦。
最近，谷歌DeepMind联合马里兰大学和弗吉尼亚大学，刚刚在arXiv上发表了一篇论文，名字叫Dream-RSI。核心思路就是：智能体把自己走过的每一步存成一棵树，然后在这棵树里做梦，在梦里练出更优的探索策略，再回到现实继续干活。
效果怎么样呢？在算法优化任务上，主流的进化搜索系统需要跑51200代，Dream-RSI只调用了317次就达到了同等水平；GPU内核优化，达到同等性能，生成次数暴降了两点四三倍；而且底层模型权重一字未改，Gemini 3.1 Pro和Gemini 3.7 Flash都可以直接套用。
更有意思的是，论文里还有一个反直觉的结论：人给AI指方向，反而比不指更差。
今天我们就来聊聊这篇论文。
一、论文背景：一作郑童与那句“内核”论文一挂上arXiv，X上就先炸了。网友马克·克雷奇曼直接高呼：“谷歌可能刚刚破解了递归自我改进！”
一作郑童是马里兰大学二年级博士生，今年夏天才以学生研究员身份进入谷歌，他身后是十七人的作者团，包括DeepMind研究员和讲席教授。
郑童在Hugging Face上留了一句话，也是整篇论文的内核：“要实现递归自我改进，智能体必须学会做梦，而历史，就是它们做梦的世界。”
这句话听着有些诗意，但是它精准地概括了Dream-RSI要解决的问题。
二、现有系统的死穴：探索策略全靠人手写死过去几年，AI在代码、数学和算法设计上的能力提升得很快。以AlphaEvolve为代表的系统早就证明了：让编码智能体跑进化搜索，能发现人类没找到的算法。它跑的是一个发现循环——AI不断提出候选方案、运行实验、根据结果修改方案，再进入下一轮尝试。一次复杂任务，可能经历几百甚至几千轮这样的循环。
但是它们有一个死穴，就是探索策略全是靠人手写死的：哪个分支该多分配算力、哪个分支该尽早剪掉、什么时候该开并行，全靠工程师预先定好。
问题在于，当搜索空间越来越大，模型有多聪明只决定了一部分结果，另一部分取决于它怎么搜索。模型即使有能力找到好的答案，如果探索策略很差，也可能把大量算力砸进死胡同，而且还不长记性。
三、为什么不能让策略自己进化？评估成本太高那让策略自己进化行不行呢？理论上可以，但是问题出在评估成本上。
我们通常评估一段候选代码，跑一次就知道好坏了；但是评估一套探索策略，得让它带着智能体从头跑完几百上千轮，看最后挖出来的东西好不好，才能给这套策略打分。每改一版策略，就要重跑一遍整个发现过程，等几天才能出一个分数，没人能耗得起。
四、Dream-RSI的解法：把“干什么活”和“决定怎么干”拆成两层Dream-RSI的解法则很巧妙：将跑过的过程存下来，评估新策略的时候就不再重跑了，直接拿旧过程回放。
具体来说，它把“干什么活”和“决定怎么干”拆成了两层：
底层：负责执行的发现智能体，由Gemini 3.1 Pro或3.7 Flash驱动。每次接过一个工作区，读取上下文，改出一版新的候选代码，交由评估器打分。顶层：轻量的编排层，里面装着探索策略——说白了就是一段Python代码，决定每一轮从哪个节点继续、一次开多少个并行尝试、以及何时止损。底层模型不动，自我进化的对象只有这段策略代码。
五、关键设计：发现树就是模拟器这里有个关键设计：每一次真实探索的结果，都会存进一棵发现树。根节点是初始工作区，每个子节点记着一次尝试的完整现场，包括文件系统快照、生成的产物、评估诊断和得分。
这棵树，就是模拟器。
策略要做的决定只有一类，就是从哪些节点继续、一次开几个，而每个节点往下走会得到什么结果，树里已经记着了。所以策略要迭代的时候，不用去真实环境跑代码，直接在长好的树上重走一遍历史就行：如果想试试在这条路上多走两步，就可以读取树里对应的记录；想试试让那条路早点放弃，就少读几个节点。
整个评估过程不需要调用模型，不用跑一行代码，只需要读历史就行了。论文把这种机制就叫做“做梦”。
六、一个比方：像走迷宫一样打个比方，就像走迷宫一样。第一次进入迷宫时，AI不知道出口在哪，只能不断尝试，但过程中也记录了试错过程，形成了一张地图。下一次尝试新的走法时，不需要真的重新走一遍迷宫，而是先对着地图在脑中推演不同路线。
假设新的策略决定先尝试A再进入C最后放弃B，只要A、B、C都已经在之前真实的实验里出现过，系统就不需要再重新调用智能体或运行代码了。
七、运行闭环：三个阶段基于这个思路，Dream-RSI的运行闭环分为三个阶段：
真实探索：用当前最新的探索策略，来引导智能体在真实环境中运行，调用模型、编译并执行代码，把探索产生的所有路径、决策和执行反馈记录下来，作为一棵新的结构化探索树追加到历史数据库中。构建模拟器：把更新后的历史数据库，转化为一个可重用的重放模拟器池。基于做梦的策略改进：让一个专门的策略开发智能体在模拟器里开始疯狂做梦，不断修改和重写探索策略代码，产生上千个候选策略，然后在重放模拟器上快速打分。打分看的是三样东西：一是这一轮梦里找到的最优分数；二是扣掉尝试次数对应的成本；三是并行奖励，鼓励策略一轮批量跑多个尝试。得分高的策略，就意味着它多快好省。
八、策略开发智能体：下限是原地踏步，上限是无限进化负责修改策略的，是另一个策略开发智能体。它会盯着当前策略在梦里走过的轨迹和分数、前几版修改的反馈、还有整棵发现树，然后直接改写策略代码，一轮改出若干个版本，每一版都丢回梦里打分，得分最高的那一版，会成为下一轮的正式策略。
这就意味着，新策略的下限是原地踏步，上限则是无限进化。因为当前策略本身就在候选池里，只有当新策略在模拟器上的综合得分高于当前策略时，新策略才会胜出并被部署。所以在数学上，Dream-RSI部署的新策略表现，绝不会弱于上一代。
随着新策略回到真实世界探索，它会带回更深更广的探索树，模拟器也会随之进化。策略改好之后，上线会发掘新的算法；随着历史变多，梦境会变得更准，策略也会继续进化。树里没有的分支，梦里也走不到，所以每一轮真实探索，都是在给下一轮的梦扩展地盘。
九、实测结果：三个领域的表现为了检验这套理论的实际效果，论文在三个领域做了实测。
1. 算法工程任务是Lasso正则化路径求解器，这是高维统计里的老难题，要求在保证数值正确的前提下，把整条路径算得尽可能快。
研究团队用Gemini 3.1 Pro跑Dream-RSI，只调用了317次，就把求解器的平均运行时间从3587毫秒，降到了2931毫秒；同一个模型换成固定策略，要调用550次才能到这个水平；基线SimpleTES为了拿差不多的结果，一共生成了51200次。
换成更便宜的Gemini 3.7 Flash后，模型消耗了1879次调用，把运行时间做到了2350.6毫秒。因为进化发生在探索这一层，和底层模型大小没关系，所以小模型一样能受益。
它挖出的求解器也很有意思：基线的做法是根据问题维度，在LARS和坐标下降两种算法里二选一；而Dream-RSI找出来的方案，直接把自适应做进了活跃集优化内部——先用强规则筛一遍特征，再用柯西-施瓦茨不等式做KKT剪枝，只有当上界判断不了某个特征时，才回头计算精确梯度。
2. 数学优化差距拉得更大。在和差问题、圆装填和自相关不等式三个极耗算力的离散和几何优化问题中，Dream-RSI在一千代以内就达到或超越了极强的基线性能。与需要51200代算力开销的SimpleTES相比，节省了超过50倍的计算预算，拿到了同等甚至更优的结果。在圆装填问题上，还追平了谷歌自家AlphaEvolve V2的最强纪录。
3. GPU内核工程这也是谷歌自己最在乎的地盘。论文总共测了四种内核：
VGG16和LayerNorm比的是省多少：把内核优化到和固定探索同样的性能，Dream-RSI需要的生成次数，分别只有对方的2.43分之一和1.79分之一。ConvDiv和ConvMax比的是强多少：给两边同样的预算，Dream-RSI优化出的内核性能，分别是固定探索的2.09倍和1.44倍。十、最反直觉的发现：人给AI指方向，反而比不指更差接下来这个实验，可能是整篇论文里最反直觉的部分。
研究团队把之前的历史轨迹提炼成方向性提示，塞进提示词里，手把手教智能体往哪走。结果有些出乎意料：在同等预算下，加了人类引导的始终比不加的更差。
研究人员还尝试了经验总结法，让大模型把历史总结成高层指导意见，去指导下一轮的探索。结果同样令人大跌眼镜：注入了高层次经验总结的智能体，在探索表现上不仅没有提升，反而显著差于没有任何指导的原始基线。
背后的原因：任何总结都是一种压缩背后的原因是什么呢？说到底，任何总结都是一种压缩。
“这条路线失败了”，虽然是简单的一句话，但是这句话丢掉了大量信息，比如在什么条件下失败的、失败到什么程度，旁边还有哪些分支、当时还有哪些可能性没有继续尝试。一旦你把经验生硬地抽象为高层原则，它们立刻就转化为AI的认知偏见，导致过度约束搜索空间，扼杀探索的多样性，让AI困在局部最优解里。
而Dream-RSI的做梦机制不提供任何空洞真理，它保存的是完整的过程。过去的失败不再只是失败，变成了一个可以被重新进入的空间。AI可以站在同一个历史节点上重新问一次：如果当时换一个选择，会发生什么？
它直接让新策略去碰撞具体的历史树，在微观的并行控制、分支优先级和提早停止规则上，进行代码级优化。这种方式保持了探索空间的开放和多样性，反而远胜于前者。
十一、更深层的问题：AI到底应该怎样拥有经验？这个发现其实引出了一个更深层的问题：AI到底应该怎样拥有经验？
现在很多的AI智能体系统谈记忆，本质上还是在记笔记：比如在任务结束以后提炼几条规则，下次需要时再检索出来，重新放进上下文。
但是Dream-RSI告诉我们，也许未来高级智能体最重要的资产，不仅是训练数据、上下文窗口或者知识库，还包括大量曾经真实运行过的行动轨迹。过去做过的工作，不再只是消耗掉的算力，而可能继续成为下一轮研究的基础设施。
在我们日常工作中也一样：总结经验一直被视为一种天经地义的好习惯，但是在AI的探索场景里，人类总结的高层原则反而成了枷锁。或许不是经验本身有问题，而是从具体到抽象的过程中，不可避免地丢失了那些让真正创新得以发生的细节和随机性。
十二、谷歌为何坚信RSI正在发生？这篇论文之所以引起关注，是因为有人相信：通往超级智能的隐秘通道，可能已经被打通了。
此前谷歌产品负责人洛根·基尔帕特里克透露过一个重磅消息：谷歌正在死盯前沿，并且已经看到了RSI的早期迹象。他拿Gemini 3.5到3.8大约每三到四周一更新作为证据，还表示Gemini 4将是迄今最大、最野心勃勃的预训练模型，希望借此回到争霸位置。他强调，要把算力和人力，投给写代码、做研究、做科学，因为这些最可能把下一轮训练变快、变便宜。
为什么谷歌如此坚信RSI正在发生？因为AI自我改进的范式正在悄然改变。
过去十年，行业里谈起RSI，大家想到的总是AI自动修改自己的权重，训出下一代神明。但是Dream-RSI展示了另一种可能性：模型权重不一定要先变，它可以通过自我重写外围的探索框架，来让自己变得强大。
这就好比同一个研究员，他的智商、知识储备都没有突然发生变化，但是随着研究经验的增加，他开始知道哪些方向值得追了、哪些实验大概率是在浪费时间、什么时候应该换路线了。变化的不是脑子本身，而是方法。
过去谈模型进步，通常意味着参数更多、训练数据更多、强化学习规模更大。但是Dream-RSI展示的是另一条路径：底层模型完全可以不变，仅仅通过重新组织它已有的能力，就能解决更多问题。当模型拥有这种能力，就会用最便宜的算力，去解决最难的问题。
十三、Dream-RSI的局限：不能永远留在梦里当然了，Dream-RSI距离大众想象中的AI自我进化还有很远。它没有修改Gemini的权重，也没有重新训练模型，真正被更新的，是负责决定如何搜索的策略层。
它能够反复做梦的前提，是过去真实跑过这些实验。对于历史上从未到达过的区域，Dream-RSI并不能够凭空就知道结果。所以它不能永远留在梦里：每经过一轮策略优化，AI仍然需要回到真实环境，进入过去没有探索过的新区域，再把这些新结果加入历史。只有这样，系统的记录才会不断扩大。
十四、结语：记住自己走过的路，然后少走弯路但是这条思路已经足够有意义了。未来更强的AI，未必每一轮都需要一个更聪明的模型，它可能只是越来越擅长一件看起来很普通的事情，那就是记住自己走过的路，然后少走弯路。
正如论文结尾所说：“智能体必须学会做梦才能递归自我改进，而历史，就是它做梦时所处的整个世界。”
随着Gemini 4等超大型预训练模型的临近，以及这种在虚拟历史中做梦的RSI到来，我们距离那场智能大爆炸，或许只有一步之遥了。
关键是，当AI可以靠做梦来进化，人类的经验总结反而会拖后腿了——那我们自己的做梦，还有什么意义呢？

论文地址：[2609.14858] Dream-RSI: Recursive Self-Improvement through Evolving Worlds