空间 / webml-community / bonsai-webgpu-kernels

🌳webml-community / bonsai-webgpu-kernels

在浏览器中使用WebGPU运行1-bit 27B大语言模型,权重为单符号位加共享FP16缩放因子,有效比特率1.125比特/权重,较FP16压缩约14.2倍。

作者
webml-community
SDK
static
状态
运行中
收藏
29
运行模型
prism-ml/Bonsai-27B-gguf

观测时间线