群发资讯网

Bonsai 27B 彻底改变了本地 LLM 游戏。1 位量化将其从 54GB

Bonsai 27B 彻底改变了本地 LLM 游戏。

1 位量化将其从 54GB 缩小到仅 3.8GB(-93%),同时保留了 90% 的智能。这太疯狂了。

通过 Fable 5 和 GPT 5.6 Sol 编写的自定义 WebGPU 内核,该模型现在可以在你的浏览器中本地运行!网页链接