面向复杂研究任务的推理型 agent 模型
适合长程研究任务与工具调用 / 文件、数据、代码的多步执行
短板低延迟闲聊或轻量问答
Q4 ~24GB / FP16 ~86GB · Apache-2.0 · 262144 · vllm需自查
证据1306 下载 / 95 赞
本期 (9)
Mac 上 Qwen3.8-27B 4-bit量化
- MLX
- 已量化
适合Mac 本地代码生成 / Apple Silicon 长上下文推理
短板低内存 Mac 或无损质量需求
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 262k · mlx需自查
证据48.4k 下载 / 103 赞
IBM 30B 推理模型，原生 thinking 与工具调用
适合复杂推理与代码生成 / 工具调用与 Agent 工作流
短板小显存本地部署
Q4 ~19GB / FP16 ~70GB · Apache-2.0 · 128K (可扩展 512K) · vllm需自查
证据1791 下载 / 82 赞
H3×Z-Image 嫁接，ComfyUI 文生视频
适合ComfyUI 原生加载文生视频 / 16GB 显存 4-bit 量化本地运行
短板RTX 30/40 上追求推理速度
未公开 · minimax-h3-community-license · 未知 · comfyui需自查
证据13.3k 下载 / 78 赞
35B-A3B 编程模型，本地 Agent 编码
适合代码库问题修复 / 多轮对话 / 截图理解
短板考试风格知识评测 (MMLU-Pro)
Q4 ~23GB / FP16 ~84GB · MIT · 未知 · llama.cpp需自查
证据16k 下载 / 85 赞
腾讯多模态嵌入模型，支持文本/图像/视频编码，输出 4096 维向量
适合多模态检索与 RAG 索引 / 文本/图像/视频相似度排序
短板音频输入/语音嵌入
Q4 ~6.2GB / FP16 ~23GB · Apache-2.0 · 未知 · transformers需自查
证据385 下载 / 87 赞
Granite 4.2 30B MLX 量化，Mac
- MLX
- 已量化
适合Mac 本地 30B 推理 / 工具调用与多语言生成
短板非 Apple Silicon 部署
Q4 ~20GB / FP16 ~72GB · Apache-2.0 · 未知 · mlx需自查
证据154 下载
Granite 30B MLX 8-bit，本地推理
- MLX
- 已量化
适合Apple Silicon 本地对话与推理 / 工具调用与多语言生成
短板非 Apple Silicon 环境
Q4 ~5.4GB / FP16 ~20GB · Apache-2.0 · 未知 · mlx_lm需自查
证据137 下载
Granite 8B MLX 4bit，Mac推理
- MLX
- 已量化
适合Apple Silicon 本地文本生成 / 工具调用与推理任务
短板非 Apple Silicon 环境
Q4 ~5.3GB / FP16 ~19GB · apache-2.0 · 未知 · mlx_lm需自查
证据148 下载