GGUF 量化 27B 图文模型，供 llama.cpp 本地部署
适合本地图文/视频输入 GGUF 推理 / 长上下文与工具调用实验
短板安全合规要求高的生产环境
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 262k · llama.cpp需自查
证据58.7k 下载 / 119 赞
本期 (3)
Qwen3.8-27B 混合量化 GGUF，本地图文推理
适合本地 GGUF 图文推理与部署 / 低比特量化长上下文文本生成
短板需未量化精度的关键任务
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 262k / YaRN 1M · llama.cpp需自查
证据3351 下载 / 81 赞
Gemma 3 4B 蒸馏微调对话模型，面向轻量试验与聊天
- MLX
适合轻量对话与指令跟随 / 小规模蒸馏管线试验
短板生产或安全关键场景
Q4 ~3GB / FP16 ~11GB · Gemma Terms of Use · 1024 · transformers需自查
证据146 下载