SummFlow 2026-07-01 Hugging Face

LFM2.5-8B-A1B-APEX (LiquidAI / LocalAI)

8B参数1B激活MoE，消费级GPU可运行的APEX量化

入选理由
LiquidAI LFM2.5 的 APEX 量化版，提供多种 GGUF 文件，可直接用 LocalAI 或 llama.cpp 运行，适合低显存部署 MoE 模型。
对位
对位Llama-3.2-1B/3B密集模型，激活参数相近
适合
本地低成本对话 / 消费级GPU即时推理
不适合
高精度复杂推理任务
规模
8B (激活1B) · 未知
授权
LFM1.0 · 需自查
框架
localai / llama.cpp
血统
量化自 LFM2.5-8B-A1B
可信度
下载4.1k，11赞，基于llama.cpp，LocalAI团队出品

社区实测

社区关注度高(r/LocalLLaMA 211 赞),定位为可在消费级硬件上本地运行的 MoE 代理模型,速度快但编码能力弱。

  • 本地部署:RTX 4060 笔记本可运行 Q4_K_M GGUF,约 76 tok/s,完全离线
  • 工具调用与 JSON 结构化输出在实测中可用
  • 多语言支持(日语/法语/阿拉伯语)通过测试
  • 编码是明显短板:6 项实测中 4/5 的编码测试未通过
来源

LFM2.5-8B-A1B — Fastest Local AI Agent on a Laptop? (6 Tests)Liquid AI releases LFM2.5-8B-A1B : r/LocalLLaMA - RedditAn On-Device MoE Model With 8.3B Total and 1.5B Active Parameters : r/machinelearningnews

截至 2026-07-05

快速上手

llama-server -hf mudler/LFM2.5-8B-A1B-APEX-GGUF:LFM2.5-8B-A1B-APEX-I-Balanced.gguf