7.89GB 27B GGUF，工具调用/Agent
适合工具调用/函数调用 Agent / 7.9GB GGUF 本地部署
短板竞赛数学及字母级指令题
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 32k · llama.cpp需自查
证据142 下载 / 108 赞
本期 (7)
Mac 本地运行 Qwen3.8 MoE 量化
- MLX
- 已量化
适合Mac 本地长上下文生成 / 需少拒答的文本生成
短板超长生成，上游已知重复
Q4 ~23GB / FP16 ~84GB · apache-2.0 · 262k · mlx需自查
证据1801 下载 / 3 赞
Apple Silicon 本地 MLX 混合精度 MoE
- MLX
适合Apple Silicon 本地长上下文生成 / 低拒绝率对话与角色生成
短板非 Apple Silicon 环境
Q4 ~23GB / FP16 ~84GB · Apache-2.0 · 256k · mlx需自查
证据1263 下载 / 1 赞
SL-AI 的 GRaPE-Mini-Writer GGUF 量化版
适合本地部署多模态生成模型 / 图像输入辅助写作任务
短板长上下文与复杂推理任务
未公开 · apache-2.0 · 未知 · llama.cpp需自查
证据196 下载
Qwen3-VL-2B 自动驾驶 VQA 量化, 供本地推理
适合自动驾驶视觉问答 (VQA) / nuScenes 驾驶场景推理
短板通用聊天/非驾驶视觉任务
Q4 ~1.3GB / FP16 ~4.8GB · apache-2.0 · 未知 · llama.cpp需自查
证据462 下载
0.8B GGUF 量化，边缘设备本地推理
适合低资源环境本地运行 / llama.cpp/ollama 快速部署
短板复杂推理与高质量长文本生成
Q4 ~0.5GB / FP16 ~1.9GB · apache-2.0 · 未知 · llama.cpp需自查
证据159 下载 / 1 赞
沙特方言阿语对话模型，GGUF 量化，本地部署用。
适合沙特方言阿拉伯语对话 / 低显存本地部署
短板标准阿拉伯语 / 非方言任务
Q4 ~2.6GB / FP16 ~9.6GB · Apache-2.0 · 未知 · llama.cpp需自查
证据508 下载 / 1 赞