现在大家聊手机端AI大模型,第一印象就是体积庞大。很多端侧模型动不动几个G,下载要占大量存储空间,手机内存压力大,低配机型直接跑不动。就算勉强装上,推理速度慢,打字半天出不来回复,日常想用一下,体验大打折扣。
就在最近,淘宝对外放出了一个很有意思的端侧大模型方案,整个模型包体积仅仅173MB,不用连接云端服务器,手机本地离线运行,输出速度能够做到350 token/s。消息刚出来的时候,我第一反应是不敢相信,这么小的体积,还能做到这么快的速度,到底是噱头,还是真的把端侧AI做到了新的高度?这段时间我找了不少资料,也看了不少开发者的实测,今天好好聊一聊这件事。
先给大家先搞懂几个数字到底意味着什么。173MB是什么概念?一张高清的手机照片,有的都能到二三十兆,173MB差不多就是五到六张高清图片的大小,放到手机里面,占用的空间几乎可以忽略不计。现在市面上主流的手机端大模型,哪怕是做过深度压缩的版本,大多也要1‑3GB,对比下来体积差距非常夸张。
然后是350 token/s的生成速度,简单换算,一秒钟大约可以输出两百多个汉字。我们平时自己打字,普通人打字速度大概也就每秒三到五个字。也就是说这个本地模型文字输出,比普通人手动打字快几十倍。最关键的一点,全程不联网,所有的数据计算、内容生成,全部在手机硬件内部完成,不用把文字上传到云端服务器。
很多人第一时间会问:做得这么小,性能会不会直接砍没了?会不会只是一个玩具级别的模型,只能回答一些简单的问题?
从目前公开的测试信息来看,这个模型并不是用来对标那种全能型的通用大模型。淘宝做这个端侧模型,出发点非常明确,优先服务电商场景。比如商品文案改写、比价分析、找商品关键词、提炼长段商品评价、写简短的购物咨询话术,还有订单信息整理。它不需要去写长篇小说,做深度科研推理,把垂直的电商相关任务做好,就是它的目标。
专门针对购物场景做训练,很多无关的通用能力直接裁剪掉,模型体积自然可以压到极低。相当于放弃了“什么都要会”,转而把电商相关的能力做精做轻,这也是它能够压缩到173MB最核心的原因。
接下来聊大家最关心的,离线不联网,到底有什么实际意义。
第一个就是隐私层面。我们平时用APP里面的AI功能,输入自己的需求、预算、购物偏好,很多信息都会上传到云端。虽然各大平台都有隐私协议,但是不少人心里还是会介意自己的消费习惯、预算、个人需求不断上传。本地离线运算,所有的提问和分析全部留在本机,不会向外传输,对于在意购物隐私的用户,这一点吸引力很强。
第二点就是不受网络限制。出门在外,地铁、地下商场,网络信号时断时续。平时我们打开AI功能,网络差的时候加载半天,一直转圈,体验很差。本地大模型只要装在手机里,不管有没有Wi‑Fi,有没有流量,随时都可以调用,不会因为网络卡顿卡住。
第三点就是速度的提升。云端大模型,再快也要经历发送请求‑服务器计算‑传回手机这一整套流程,有网络延迟。本地模型跳过了数据来回传输的过程,只要手机性能达标,立刻开始生成内容,350token/s的速度,几乎可以做到文字实时流式输出。
但我们也不能只看优点,客观来说,这个方案同样有很明显的短板。
首先就是能力边界很清晰,它是电商垂直小模型。如果你想用它写完整方案、做复杂逻辑推理、深度知识问答,它的能力是不够的,不要指望一个一百多兆的模型,去和十几G的通用大模型比拼综合实力。它的定位是购物辅助工具,脱离这个场景,实用性会大打折扣。
第二,虽然体积很小,但是350token/s的高速输出,依然会消耗手机的算力。长期持续调用,手机会发热,耗电速度加快。对于一些老款中低端手机,就算能够装下这个173MB的安装包,芯片算力不足,实际跑起来,速度也达不到宣传的水准,体验会打折。
第三,目前落地到普通消费者端的功能还比较有限。现在更多是技术层面的公开,未来怎么整合到淘宝APP里面,开放多少功能给普通用户,会不会有功能阉割,现在还没有完整的方案。有可能上线之后,普通用户只能用到一小部分能力,很多亮眼的技术参数,更多面向商家、开发者开放。
聊完技术,我们再往更大的层面看,这件事其实代表了端侧AI接下来的一个发展方向。
过去很长一段时间,AI的思路两极分化。一种是做超级强大的云端大模型,能力全面,但是必须联网;另一种是端侧通用大模型,什么功能都保留,体积庞大,对手机配置要求极高,很多普通手机根本跑不起来。
而淘宝这次的思路换了方向:不去追求全能,针对单一垂直场景,做极致轻量化的端侧模型。不需要强大到无所不能,只需要在购物这个场景里面,把用户需要的事做完,体积做到极小,大部分手机都可以承载。
未来或许会出现越来越多类似的产品。办公软件内置轻量化本地文档模型,拍照软件内置本地AI修图模型,每一个APP自带自己场景下的迷你端侧大模型,不用再统一依赖一个庞大的通用端侧大模型。这或许是普通千元机也能普及AI能力的一条路。
最后回到普通用户的视角,我们不用过度神话这项技术。173MB、离线运行、高速生成,是一次很有意思的技术尝试,会给以后的网购体验带来不少变化。比如以后我们买东西,可以直接让AI在本地帮我们分析上千条买家评价,快速总结优缺点;可以直接根据我们的预算,在本地快速整理一份选购清单;写咨询商家的话术,一键优化,全程数据不用上传。
但它说到底还是一个服务购物的工具,不用因为一项新技术,就过度期待能够颠覆整个AI行业。技术能不能真正好用,还是要看后续正式上线之后,实际落地的功能、优化的程度。
当越来越多轻量化离线大模型来到手机里面,我们的手机AI,才会真正摆脱“必须联网、体积庞大、高端机专属”的标签,真正走到每一个普通人的手机当中。