群发资讯网

数贸会展出曦望S3推理GPU,LPDDR6接口有哪些看点 GPU有算力,模型回

数贸会展出曦望S3推理GPU,LPDDR6接口有哪些看点

GPU有算力,模型回答也可能等数据。数贸会上,曦望展出了启望 S3 推理 GPU 原型。曦望产品页列出 LPDDR6 内存、PCIe Gen6,定位于大模型、智能体推理。
LPDDR6是卡上内存标准,PCIe Gen6负责设备互联,两者位置不同。PCI-SIG列出的64.0 GT/s原始速率、x16配置最高256.0 GB/s,是PCIe 6.0标准数据。S3实际PCIe通道数尚未公开。标准上限不能当作S3的实测带宽。
大模型生成回答要读取模型参数、上下文信息。研究将处理输入称为 Prefill,将逐步生成称为 Decode;Decode在常见负载中更受内存访问速度影响。数据送得慢,计算单元就可能等待。
曦望称,LPDDR6、PCIe Gen6可服务推理任务,实际效果仍需整卡测试。S3的LPDDR6数据率、内存容量、通道数未公开。接口代际给出技术路线,公开测试才说明它能带来什么。