面向 agent 与工具调用的 9B 文本模型
适合Agent 工具调用 / 代码生成与指令遵循
短板多模态 / 视觉任务
Q4 ~5.9GB / FP16 ~22GB · apache-2.0 · 262k (可至 1.01M) · sglang需自查
证据9856 下载 / 861 赞
本期 (6)
Apple Silicon 并行约束解码，结构化提取/分类
- MLX
适合Apple Silicon 上结构化 JSON 提取 / 分类与决策路由，低延迟推理
短板自由文本生成与长文创作
Q4 ~1GB / FP16 ~3.6GB · apache-2.0 · 未知 · mlx需自查
证据257 赞
29B MoE, 4B激活, 256K上下文, 面向Agent与编程
适合Agent 工具调用与多步规划 / 长上下文代码生成与修复
短板小显存单卡本地部署
Q4 ~19GB / FP16 ~70GB · apache-2.0 · 256k (可扩展至512k) · vllm需自查
证据61 下载 / 147 赞
面向 agentic 编码与网络安全的 GGUF 量化多模态模型
适合Agentic 编码与工具调用 / 网络安全与逐字复制
短板通用聊天与安全合规场景
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 262k · llama.cpp需自查
证据14.8k 下载 / 126 赞
0.6B 中英双语 LLM 输入安全护栏，输出 JSON
适合LLM 输入安全审核 / Agent 工具滥用检测
短板通用内容生成与对话
Q4 ~0.4GB / FP16 ~1.4GB · apache-2.0 · 未知 · transformers需自查
证据502 下载 / 3 赞
27B 三元权重 GGUF，端侧/单卡推理
适合单卡/笔记本本地 27B 思考推理 / 低体积长上下文 agent 工具调用
短板标准 llama.cpp 直接部署
Q4 ~18GB / FP16 ~65GB · Apache 2.0 · 262K · llama.cpp (PrismML fork)需自查
证据124 赞