SummFlow 2026-05-29 Hugging Face

LFM2.5-8B-A1B (LiquidAI)

端侧部署的混合MoE模型，用于工具调用与多语言助理

入选理由
支持GGUF/vLLM/Transformers，5分钟可部署，性能显著优于前代。
对位
对位 Qwen3.5-4B, Gemma-4-E2B 等端侧模型
适合
工具调用与结构化输出 / 多语言端侧个人助理
不适合
重编程或无检索的知识密集型问答
规模
8.3B (1.5B active) · 131K · Q4 ~5.6GB / FP16 ~20GB
授权
LFM1.0 (custom) · 需自查
框架
transformers / vllm / llama.cpp / mlx
血统
微调自 LFM2.5-8B-A1B-Base
可信度
IFEVAL 91.84, MATH500 88.76, 吞吐18.5K tok/s @ H100

仅 safetensors · 无 pickle 加载风险

社区实测

在消费级硬件上推理速度快、工具调用可用，但编码能力明显偏弱，适合本地 Agent 场景而非通用编程。

  • 本地推理速度快（RTX 4060 笔记本上约 76 tok/s，GGUF Q4_K_M）
  • 支持原生工具调用与 Agent 工作流，可离线运行
  • 低配硬件可运行（社区称"any potato"即可跑 A1B 版本）
  • 编码能力弱（社区实测 4/5 编码任务未通过）
  • 全量模型有用户反馈在自己的测试框架中"unusable"
  • 工具调用功能初期存在 bug（GGUF 版本后续已修复）
来源

LFM2.5-8B-A1B — Fastest Local AI Agent on a Laptop? (6 Tests)LiquidAI/LFM2.5-8B-A1B · Hugging Face : r/LocalLLaMA - RedditLiquid AI releases LFM2.5-8B-A1B : r/LocalLLaMA

截至 2026-06-19

快速上手

transformers >= 5.0.0: AutoModelForCausalLM.from_pretrained('LiquidAI/LFM2.5-8B-A1B')