1. 核心问题与动机背景：循环 Transformer 通过重复使用共享层块来增加有效深度，此前研究认为其在算术、数学推理和上下文算法学习方面表现优异。痛点：之前的评估往往存在“预算混淆”。循环模型虽然参数少，但计算量大（FLOPs 高）、KV Cache 需求大。之前的对比通常固定参数或固定 FLOPs 之一，未能同时控制这三者。目标：在一个公平的对比实验下（同时固定 per-token FLOPs、总参数、KV Cache），探究循环结构本身是否具备架构优势。2. 方法论：SMELT 配方团队提出了一种称为 SMELT (Sparse MoE Transformer with middle layers Loop Twice) 的设计方案，并提出了三条关键规则： 1. 循环中层而非全层：只循环中间 50% 的层，而不是整个堆栈。 2. 更大的有效深度-宽度比：循环模型的有效深度/宽度比应高于基线模型。 3. 循环两次而非三次或四次：双重循环效果最好。
预算匹配技术： 由于 MoE（混合专家模型）能将总参数与 per-token FLOPs 解耦，SMELT 通过以下方式实现匹配： * 缩小隐藏维度以抵消循环带来的额外 FLOPs。 * 增加专家数量以恢复因缩小维度而损失的总参数。 * 调整头大小和 GQA 比率以平衡 KV Cache。
3. Scaling Law 与计算效率团队在 4 个模型规模（100M - 1.6B 非嵌入参数，最大 54B）和 4 个稀疏度级别上进行了缩放实验，并拟合了独立的 Chinchilla-style Scaling Laws。 * 主要发现：SMELT 在所有规模和稀疏度下均优于基线。 * 计算节省：在 FLOPs 的计算预算下，SMELT 相比基线可以节省 6.8% 到 18.0% 的训练计算量以达到相同的损失水平。 * 最优分配：两种架构的最优 token/参数比例（TPP）非常接近，说明 SMELT 的优势并非来自重新分配预算，而是来自相同的计算投入下获得了更低的损失。
4. 下游性能分析基准测试：在 DCLM Core、DCLM Completion 和 MMLU 上，SMELT 在绝大多数匹配对中胜出。超越验证损失预测：SMELT 在下游任务上的提升幅度超过了仅由验证损失下降所预测的程度，且这种优势随着模型规模增大而扩大。领域差异：代码（Code）受益最大（CE Gain 约 20.4%）。优势集中在结构化数据和长样本上。上下文学习（ICL）：随着示例数量增加，SMELT 的优势进一步扩大（例如在 Dyck Languages 任务上，32-shot 时比基线高出 3.4%）。5. 机制解释：第二次访问发生了什么？为了理解优势来源，团队分析了第二遍遍历（second visit）的内部行为： * 专家重用：路由器会重用第一遍选中的部分专家，同时 diversify（多样化）其余专家。 * 残差放大：第二遍的残差更新不仅幅度更大，而且方向与第一遍高度一致（余弦相似度约 0.56），说明第二遍是在放大第一遍建立的信息，而非覆盖它。 * 注意力模式：Query (Q) 和 Key (K) 保持相似，但 Value (V) 发生变化。这意味着模型在两遍中关注相似的 token，但读取了不同的内容。 * 消除 Attention Sink：第二遍显著减少了在段首 BOS token 上的注意力堆积（Attention Sink），将注意力质量重定向到内容相关的 token。这解释了为何 ICL 性能提升明显。
6. 结论在严格匹配计算、参数和内存预算的情况下，深度复用（循环）仍然是有效的。SMELT 证明了循环是一种稳健的模型设计轴，特别是在结构化数据和上下文学习任务中。未来工作可扩展到更复杂的循环变体（如引入 LoRA 适配器、自适应递归深度等）。简而言之：论文证明，只要处理好 MoE 的参数-计算解耦问题，循环 Transformer 可以在不增加额外计算成本的情况下，通过“深思熟虑”（第二次遍历）显著提升模型性能，特别是在代码和长上下文推理任务上。
[2609.01343] SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers