多模态文本/图像/音频输入，GGUF 量化，适合本地运行。
适合多模态对话与工具调用 / 代码生成与 agent 任务
短板实时流式音频生成
Q4 ~7.9GB / FP16 ~29GB · apache-2.0 · 未知 · vllm需自查
证据17.4k 下载 / 69 赞
本期 (6)
子 2 比特 8B 聊天模型，容器 2.56 GB
适合低资源 CPU 聊天推理 / 结构化 JSON 输出/工具调用
短板数学推理
Q4 ~5.3GB / FP16 ~19GB · Apache-2.0 · 40k · transformers需自查
证据5060 下载 / 62 赞
轻量级Kimi-K3测试版，保留混合注意力MoE，用于特征提取开发
适合轻量级文本嵌入与特征提取 / 原型开发与架构实验
短板生产环境对话或高精度生成任务
Q4 ~0.3GB / FP16 ~0.9GB · MIT · 未知 · llm-compressor需自查
证据17.3k 下载 / 61 赞
DeepSeek V4 系列轻量模型，本地快速对话
适合本地低延迟对话 / 日常聊天任务
短板复杂推理与长上下文
未公开 · MIT · 未知 · llama.cpp需自查
证据113 下载 / 1 赞
Apple Silicon本地35B生成模型MLX量化版
- MLX
- 已量化
适合Apple Silicon本地对话 / 文本生成
短板高并发在线服务
Q4 ~6.7GB / FP16 ~24GB · MIT · 未知 · mlx_lm需自查
证据180 下载
MLX 4-bit量化，Apple Silicon文本生成
- MLX
- 已量化
适合本地聊天助手 / Apple Silicon设备上的文本生成
短板非Apple Silicon系统
Q4 ~5.9GB / FP16 ~22GB · MIT · 未知 · mlx需自查
证据117 下载