英文句子/短段落向量化，用于语义搜索与聚类
适合短文本语义搜索与召回 / 句子相似度与聚类
短板长文档（>256 词片）
Q4 ~0GB / FP16 ~0.1GB · apache-2.0 · 256 word pieces · sentence-transformers需自查
证据246135.3k 下载 / 5456 赞
本期 (11)
图像文本多模态 GGUF，面向本地消费级硬件部署
适合本地 GGUF 图像文本推理 / 创意写作与角色扮演
短板需内容合规的生产场景
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 256k · llama.cpp需自查
证据39.6k 下载 / 125 赞
英文因果语言模型，用于文本生成与下游微调
- 移动端
适合英文文本生成 / 下游任务微调基线
短板事实性要求高的生成任务
Q4 ~0.1GB / FP16 ~0.3GB · MIT · 1024 · transformers需自查
证据14071.7k 下载 / 3597 赞
4B 通用语言模型，面向对话/代码/agent
适合本地代码生成与 agent 调用 / 长上下文问答与多语言对话
短板图像/音频等多模态任务
Q4 ~2.7GB / FP16 ~9.9GB · Apache-2.0 · 1M · vllm需自查
证据1514 下载 / 162 赞
36B MoE 开源模型，4B 激活，面向 agent/推理
适合agentic 工具调用 / 长上下文推理与编码
短板单张消费级显卡本地部署
Q4 ~25GB / FP16 ~90GB · apache-2.0 · 512k · vllm需自查
证据76 赞
GSQ-RCO 非均匀 GGUF 量化，含视觉投影器
适合本地 GGUF 多模态量化推理 / 图像理解与视觉问答
短板训练/微调或需原始权重场景
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 未知 · llama.cpp需自查
证据100.1k 下载 / 242 赞
混合注意力视频生成：14.4s片段11.23s
适合768p 14.4s 文生视频生成 / 8×B200/H200 上的低延迟推理
短板欧盟/英国/韩国/美国地区使用
未公开 · MiniMax H3 Community License Agreement（排除 EU/UK/KR/US） · 未知 · diffusers需自查
证据129 赞
Mac 上 8-bit 量化 Qwen3.8 27B（MTP 加速）
- MLX
- 已量化
适合Mac 本地高质量文本生成 / 代码生成与长上下文推理
短板少于 36GB 统一内存的 Mac
Q4 ~18GB / FP16 ~66GB · Apache-2.0 · 262k · mlx需自查
证据23.4k 下载 / 48 赞
开源 MoE 代码与智能体模型 GGUF 量化版
适合复杂代码生成与长程任务 / 智能体工程与漏洞发现
短板低延迟实时交互
未公开 · GLM-5.3 自定义许可证 · 1M · llama.cpp需自查
证据107.4k 下载 / 70 赞
Mac本地Qwen3.8-27B-4bit量化
- MLX
- 已量化
适合Mac 本地短会话与日常问答 / 交互式短文本生成
短板长时编程与复杂推理
Q4 ~18GB / FP16 ~66GB · Apache-2.0 · 262k · mlx需自查
证据7018 下载 / 9 赞
Granite 4.2 3B MLX 6bit 量化，本地推理
- MLX
适合Apple Silicon 本地推理 / 工具调用与思维链测试
短板高吞吐生产服务
Q4 ~2.4GB / FP16 ~8.8GB · apache-2.0 · 未知 · mlx_lm需自查
证据115 下载
← 前一日 2026-08-31 · 后一日 不可用 (已是最新)