SummFlow 2026-05-29 Hugging Face

LFM2.5-8B-A1B (LiquidAI)

混合架构边缘语言模型,GGUF 量化,供 llama.cpp 部署

入选理由
模型以GGUF格式提供,可通过llama.cpp直接运行,为原始模型的量化版本。
对位
对位 Llama-3-8B、Phi-3-mini 等边缘模型
适合
移动端/边缘设备文本生成 / 多语言轻量级本地部署
不适合
高精度复杂推理任务
规模
8B (激活 1B) · 未知
授权
other (lfm1.0) · 需自查
框架
llama.cpp
血统
量化自 LFM2.5-8B-A1B
可信度
支持 llama.cpp 的直接 HF 调用,多语言(含中文),Liquid AI 发布

社区实测

在消费级硬件上跑得动的轻量本地 agent 模型,工具调用可用但编码能力明显偏弱

  • 在入门级笔记本/消费级 GPU 上本地运行 agent 工作流(Q4_K_M GGUF + Ollama,RTX 4060 约 76 tok/s)
  • 原生工具调用(tool calling),支持 llama.cpp / Ollama / MLX / vLLM / SGLang 等运行时
  • 通过扩展词表改善非拉丁语言(日语、法语、阿拉伯语等)的分词效率
  • 编码能力是明显短板(实测 4/5 道编码题未通过)
  • 部分用户在自有测试框架中遇到模型不可用的情况
  • 工具调用功能曾存在问题,后续通过更新 GGUF 修复

截至 2026-06-19

快速上手

ollama run hf.co/LiquidAI/LFM2.5-8B-A1B-GGUF