群发资讯网

本地5090运行qwen3.8 27B峰值解码速度居然顶到了900 token/s! 平均也能达到三百token每秒! Ninfer 牛逼! 未来本地LLM,也就是不上云的私有AI肯定是可以走进千家万户的,而且是很能干活的那种 ​

本地5090运行qwen3.8 27B峰值解码速度居然顶到了900 token/s! 平均也能达到三百token每秒!

Ninfer 牛逼!

未来本地LLM,也就是不上云的私有AI肯定是可以走进千家万户的,而且是很能干活的那种 ​