群发资讯网

32 层权重跑出 56 层:商汤 9B 模型对标 27B

这两年大模型行业的默认打法是堆参数:几十亿不够就上千亿,上千亿不够就上万亿。10 月 30 日,商汤开源了一个反着来的模型——参数不堆了,改「循环」。
它叫 SenseNova-Loop-9B-Preview:32 个解码器层,总参约 90 亿。跑起来却不止 32 层——前 4 层单过,中间 24 层用同一套权重连跑两遍,再过最后 4 层出结果,官方写成一行公式 B(B(h))。一次前向,实际完成 56 层计算。
用官方给的口径说:存的是 9B,推理等效约 14.6B。深度不是靠复制权重堆出来的,是靠重复执行算出来的。
光循环还不够,配套还有两个设计。一是混合注意力:每 4 层一组,3 层线性配 1 层全注意力,让 26 万 token 的长上下文成本可控;二是 mHC 超连接:双残差流加 Sinkhorn 归一化,防止跑两遍后信号串味——官方消融显示,GPQA Diamond 提升 4.42 分。
成绩怎么说?商汤自测 8 项、对比 Qwen3.5-27B:6 项领先——数据库查询 71.4 对 69.8、办公自动化 66.9 对 60.5;2 项落后——终端操作 40.5 对 47.2。
对开发者的意义有三层:权重 9B 显存门槛低,单机 8 卡可微调,Apache 2.0 可商用;主场景是长文档、表格问答、办公自动化;更重要的是路线验证——参数不够时,「有效深度」是第二个变量。
但冷水也得泼足。第一,「对标 27B」全部是自测,第三方还没复现,社区已经在问为什么对比对象不是更新的 Qwen3.8;第二,中间 24 层要跑两遍,算力预算要按 14.6B 估,别被 9B 骗了——它省的是显存,不是电;第三,这还是 Preview 版,技术报告标着「待定」,生产环境先观望。
一句话总结:当所有人都往参数上叠筹码时,把同一副牌打两遍,也是一种赢法。
(注:架构与自测数据来自商汤官方模型卡及 GitHub README(2026-10-30);基准对比以官方口径为准,以第三方复现与正式版为准。)