AI越聪明越烧Token吗讨论Token成本的时候,视线很容易全落在云端模型身上,但今年端侧那条线的进展其实很值得留意。科大讯飞刘庆峰有个判断我挺认同:未来可能60%的应用在手机、电脑端侧独立完成,Token花费少,数据还不用出设备。面壁智能的MiniCPM-V 4.6在评测里Token消耗只有对比模型的1/43。再加上MoE架构的稀疏激活,手机跑一个35B总参数的模型,每次推理只激活约3B参数。这些路线说明一件事:让AI变聪明和让Token变便宜,可以同时往前走,不是非得二选一。网页链接




AI越聪明越烧Token吗讨论Token成本的时候,视线很容易全落在云端模型身上,但今年端侧那条线的进展其实很值得留意。科大讯飞刘庆峰有个判断我挺认同:未来可能60%的应用在手机、电脑端侧独立完成,Token花费少,数据还不用出设备。面壁智能的MiniCPM-V 4.6在评测里Token消耗只有对比模型的1/43。再加上MoE架构的稀疏激活,手机跑一个35B总参数的模型,每次推理只激活约3B参数。这些路线说明一件事:让AI变聪明和让Token变便宜,可以同时往前走,不是非得二选一。网页链接



