27B 1-bit 量化模型，面向笔记本与手机本地推理
适合本地隐私推理，笔记本/手机可用 / 262K 上下文，数学与编程任务
短板长期 agent 编码与多文件重构
Q4 ~18GB / FP16 ~65GB · Apache 2.0 · 262K · llama.cpp需自查
证据513 下载 / 62 赞
本期 (6)
三元权重 27B 推理模型，笔记本本地运行
适合笔记本端侧推理 27B 模型 / 长上下文 (262K) 离线分析
短板手机直接部署
Q4 ~18GB / FP16 ~65GB · Apache-2.0 · 262K · llama.cpp需自查
证据23 下载 / 105 赞
三元2-bit 27B开源模型，笔记本本地运行推理
- Apple Silicon
适合笔记本端27B推理（~26 tok/s） / 离线/隐私场景长文本理解
短板手机端部署与长链条代理编码
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 262k · mlx需自查
证据6 下载 / 13 赞
Wings of Fire 世界观角色扮演, 支持链式思维
适合WoF/奇幻世界观叙事 / 推理链辅助角色扮演
短板通用问答/编程
Q4 ~20GB / FP16 ~74GB · Apache-2.0 · 未知 · ollama需自查
证据5924 下载 / 2 赞
4bit MoE本地运行于Apple Silicon
- Apple Silicon
适合Apple Silicon本地高效推理 / 代码与数学问题求解
短板需要高精度BF16的场景
Q4 ~20GB / FP16 ~72GB · nvidia-open-model-license · 未知 · mlx需自查
证据855 下载 / 2 赞
4-bit MLX 量化，Apple Silicon 本地运行文本生成
- Apple Silicon
- 已量化
适合Apple Silicon 本地大模型推理 / 敏感层 8-bit 保精度的代码/指令任务
短板显存<16GB 设备运行受限
Q4 ~23GB / FP16 ~84GB · apache-2.0 · 128k · mlx需自查
证据720 下载 / 3 赞