本地5090运行qwen3.8 27B峰值解码速度居然顶到了900 token/s! 平均也能达到三百token每秒!
Ninfer 牛逼!
未来本地LLM,也就是不上云的私有AI肯定是可以走进千家万户的,而且是很能干活的那种