蔚来高级副总裁、智能驾驶研发负责人任少卿在沟通会上分享了为什么当时自研的 NX9031 芯片要上这么高带宽的内存。

关于为什么要上高带宽的内存，主要是对算法路线的判断。

2021、2022 年左右蔚来自研芯片芯片设计阶段，图像处理都是卷积神经网络，刚开始尝试基于 Transformer 的 BEV 感知方案，而 Transformer 对内存带宽的要求大概是 CNN 的 8 到 70 倍。

但是在 22 年初那个时间点还没发判断 Transformer 会不会成为主流，内部也很纠结会不会变成纯 Transformer ，如果变成纯 Transformer 了 ，内存带宽的暴涨就是本质的；如果不变成纯 Transformer ，还是 CNN 和 Transformer 混在一起的结构 ，这个影响可能就会相对少一些。

最后内部讨论下来觉得还是会往纯 Transformer 的角度走，所以部署了单颗芯片超过 500 GB 的内存带宽。

当时下这个判断还是非常需要魄力的，因为超过 500 GB 的内存带宽，需要最新的内存制程 ，需要更多的内存部署，对于芯片片上面积占用和成本的倾斜 ，都有很大的影响。

现在回头看，这个决策是非常正确的。

关于 500 GB 的内存能干什么，少卿举了一个例子，以 7B 的模型为例 ，如果是 30 赫兹运行，每赫兹 decode 5 次的话，就是吐 5 个 token 出来，它需要的内存带宽大概是需要 int 4 的情况下，500 GB 的带宽。

蔚来