1.5TB砍到214GB!腾讯把AI塞进你的电脑,闭源优势直接被抹平
1.5TB 直接压到 214GB,体积一下砍掉 86%,腾讯这次干的这件事,相当于直接把原本只能待在专属机房里的 AI,拽到了普通人的桌面上。
换以前谁敢想?
顶级大模型,普通人连碰一下的机会都没有。
1.5TB 是什么概念?
普通家用电脑硬盘也就 1TB、2TB 大小,装完系统再塞几个游戏,剩下的空间就没多少了,连这个原始模型的零头都装不下。
过去这种级别的大模型,只有烧得起钱的大企业,堆一整个机房的服务器集群才能跑起来,普通小公司、个人用户想都别想。
现在腾讯直接把自家最强的开源混元 HY4 模型,硬生生压缩到了 214GB。
别说专业工作站,哪怕是你手里淘汰下来的旧服务器,配一块好点的消费级显卡,都能直接跑起来。
这哪里是普通的技术升级,分明是把整条赛道的游戏规则都给换了。
以前玩 AI 的门槛是什么?
先砸几百万买服务器集群,凑齐资质搞云端部署,钱不到位一步都走不通。
现在倒好,模型自己“瘦”了下来,只要你手里有符合要求的设备,下载完就能用。
很多人好奇腾讯到底用了什么黑科技?
说穿了其实很实在:一个 SHERRY 三值量化技术,把每 4 个权重打包成 -1、0、1 三个值,平均每个权重才占 1.25 比特,把空间省到了极致。
再搭配混合精度策略,对性能影响大的关键层级少压缩,不关键的稳定层往死里压,该省省该花花,一点不做无用功。
最厉害的是,压缩完之后模型性能几乎没崩。
长文理解、多轮检索的能力几乎没掉,主流评测的得分差才一两分。他们拉了 163 个工程师做盲测,几乎没人能分出原版和压缩版的区别。
这意味着什么?
喊了好几年的 AI 本地部署,终于从 PPT 里的口号,变成了普通人伸手就能摸到的现实。
以后公司的核心数据,比如医疗记录、财务报表、保密项目文档,根本不用传到云端跑了。
直接在本地模型里运算,数据半分都不会流出公司,安全性直接拉满。
最爽的还是中小微企业。
以前想用上顶级大模型,要么花天价买云服务,要么砸钱自己搭集群,成本高到想都不敢想。
现在好了,一台普通服务器,装上 HY4,顶级大模型直接开箱即用,成本直接压到了谷底。
现在海外的 AI 厂商还在忙着给闭源模型涨价、收会员费,国内这边已经闷头把大模型的体积砍到了普通人都能装下的程度。
这哪里是在卷价格,这是直接卷到了最核心的落地能力上。
云端部署还要走各种资质审核,本地部署的门槛低到只要你愿意下载就能用。
你说接下来,AI 的普及速度会快到什么程度?
