[LG]《Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer》C Lauditi, C Pehlevan, B Bordelon [Harvard University] (2026)

在深度网络中，特征学习如何改变隐藏权重谱仍难解释。过去方法只能看初始化的随机矩阵或静态低秩扰动，本质原因是学习出的 spike 与随机 bulk 并不独立。

本文的核心洞见是：把训练中的权重谱重新看作“随机 bulk + 依赖性 spike”的耦合系统。由此，两层 DMFT 同时追踪训练动力学与谱探针，刻画 outlier 何时逃离 bulk。

这项工作真正留下的遗产是用谱动力学解释宽度迁移。它为后来者打开的新门是从 NTK 顶模态预测学习率稳定性，但尚未跨过的门槛是大输出任务会重塑整个 bulk。

arxiv.org/abs/2605.07870 机器学习 人工智能 论文 AI创造营