谷歌教会AI“睡觉”
谷歌研究院联合康奈尔大学刚发了一项叫“睡眠框架(Sleep framework)”的新技术,目的是为了让AI学会记忆。
当前的大模型都是静态系统。训练完上线,它的底层知识就彻底锁死了。你跟它聊得再投机,一旦关掉对话框,临时记忆立刻清零;如果你强行把新数据塞进模型里微调,它又会患上“灾难性遗忘”,学了新知识,忘了旧本领。
谷歌的解法非常巧妙,就是打破“训练”和“使用”的绝对边界,把AI切分成清醒和睡眠两个状态。
白天的清醒期,AI正常干活,把高达1000万Token的临时信息先存在高频短期记忆区里;到了夜间的离线睡眠期,它自动解锁预先留空的混合专家底层参数,通过知识蒸馏把白天的短期记忆压缩写死到长期参数里,顺便清空缓存。更绝的是它还会“做梦”,在睡眠中随机激活不同领域的专家模块,自己生成合成数据做强化学习。
靠着这套机制,它在满语和卡拉曼语的连续翻译测试里几乎做到了零遗忘,还在AIME 24数学竞赛基准上跑出了79.2%的高分。
这件事改变了我们对AI算力的消耗方式。以前各家拼的是谁把上下文窗口拉得更长,那是在用极其昂贵的显存硬扛;现在谷歌证明了,真正高级的智能不靠死记硬背,而靠定期的“消化与遗忘”。
不过,这种让AI在睡梦中自我迭代的做法,也埋下了一个商业隐患。当模型每天晚上都在自己改写底层权重,企业最看重的合规审计就失灵了。
未来的AI竞争,拼的不再是谁家的模型永远在线,而是谁家的AI更懂得如何高效地“睡一觉”。
