大家都知道,如今的DRAM内存价格实在过于离谱,无论是个人PC用户,还是企业和数据中心大客户,都难以承受,关键是短期内根本看不到回归供需平衡、价格正常的希望。
但是,这个生成式AI时代下,尤其是随着智能体的火爆和普及,大容量内存又是绝对的刚需。
怎么办呢?
一种思路就是用NAND闪存去换DRAM内存,性能虽然会损失一些,但成本会大大降低。
前几年的手机内存融合技术就是一种体现,将部分存储空间作为扩展内存使用,可以随时开关,但调整容量是严格固定的。
最近的AI SSD也是如此,将部分无需经常访问的AI数据临时存放到高速SSD上,但它需要在软硬件方面都进行改造。
在公开Zen6架构和EPYC 9006系列处理器细节的同时,AMD也介绍了一个类似但更好的技术,效果更好。
这就是“AMD MEXT”,可将部分非频繁使用的数据,从内存卸载到闪存上,需要访问时再送回内存,从而大大节省高昂的内存成本,并提供可接受的性能。
巧妙的是,这是一个纯软件方案,不需要新的硬件或改动现有硬件,因此可以快速部署。
MEXT原本是一家独立创业公司,成立于2023年,主要钻研AI预测式内存分层方案,今年4月刚刚对外发布软件产品Predictive Memory,6月就被AMD收归旗下,交易金额未披露,9月开始内部部署和验证。
DRAM内存技术已经诞生50多年,原理从未有变,之前一直依赖摩尔定律稳定提升容量和性能、降低成本。
1974年的时候,1GB内存需要大约5000万美元,而到了2012年,只需要大约8美元,性价比提升了600万倍。
但是近年来,恰好就是MEXT成立以来,DRAM的容量提升越来越难,价格更是已经失控。
同时,数据中心虽然都配备庞大容量的内存,但浪费极其严重,微软Azure虚拟机部署中就有大约50%的内存从未使用,Meta更是有50-80%的内存访问频率非常低。
AMD MEXT方案因此应运而生,利用AI引擎和大模型,将访问频率非常低的冷内存页面,透明化卸载到SSD闪存上,同时随时将很快需要访问的页面,推回到内存。
这是一套纯粹的软件方案,工作在Linux环境下,不需要新的硬件,也不需要对现有硬件做改动,这是和AI SSD最大的不同。
官方还提供内存分析工具AMD RAM View,用于实时查看系统内存的利用率和冷热程度,按需设置分配比例。
官方称,该方案会持续进行实时的训练和推理,最快不到1秒即可完成训练,而且只需一个EPYC核心就可以完成,无需动用GPU。
官方称,利用这一方案,内存成本可以降低少则20%、多则75%,并维持不俗的性能。
或者可以将内存容量虚拟扩容到3倍之多,比实际增加内存条更省钱。
该技术适合智能体AI、EDA芯片设计、数据库分析、媒体渲染等广泛场景。
比如在智能体AI场景中,50%内存+50% MEXT可以保持90-99%的原始性能,性价比是纯物理内存方案的1.7-1.9倍;即便是25%内存+75% MEXT也能维持85-88%的性能,性价比高达3.4-3.5倍。
比如在EDA设计场景中,物理内存容量减半,性能依然保留95%,性价比可达1.9倍;如果进一步减少62.5%、75%的物理内存,性能依然分别有90%、80%,性价比则可高达2.4倍、3.2倍。
AMD内部的初步部署和验证显示,AMD MEXT应用在145台服务器上,对比纯物理内存方案,可以节省多达490万美元也就是83%的内存成本。
下一步,AMD会在明年将部署范围扩大到2000台服务器。