观点网讯:1月21日,摩尔线程与硅基流动联合宣布,双方在MTTS5000上,利用FP8低精度推理技术,完成了对DeepSeekV3671B满血版大模型的深度适配与性能测试。
据介绍,实测单卡Prefill(预填充)吞吐超4000tokens/s,Decode(解码)吞吐超1000tokens/s,单卡速度逼近国际顶尖产品。
观点网讯:1月21日,摩尔线程与硅基流动联合宣布,双方在MTTS5000上,利用FP8低精度推理技术,完成了对DeepSeekV3671B满血版大模型的深度适配与性能测试。
据介绍,实测单卡Prefill(预填充)吞吐超4000tokens/s,Decode(解码)吞吐超1000tokens/s,单卡速度逼近国际顶尖产品。