LiteRT-LM 量化端侧模型，手机/树莓派推理
适合手机/树莓派端侧本地聊天 / 低内存离线指令推理
短板长上下文与云端高精度任务
Q4 ~0.8GB / FP16 ~2.9GB · LFM Open License v1.0 · 4096 · litert-lm需自查
证据2815 下载 / 4 赞
本期 (3)
29B/4B激活 MoE，面向代码 agent 与长上下文推理
适合工具调用与多步规划 agent / 代码工程与长上下文处理
短板低显存端侧部署
Q4 ~19GB / FP16 ~70GB · apache-2.0（原卡声明） · 256k (可扩展 512k) · llama.cpp需自查
证据14.4k 下载 / 277 赞
Apple Silicon 用 397B 量化文本生成模型
- MLX
适合Apple Silicon 单机或集群部署 / 文本生成与代码补全
短板128GB 单机及低内存环境
Q4 ~262GB / FP16 ~953GB · Apache-2.0 · 未知 · mlx-lm需自查
证据1555 下载