1-bit 27B 模型, 可在手机和笔记本本地运行推理
- Apple Silicon
适合手机端本地27B推理 / 262K长上下文处理
短板复杂智能体编程任务
Q4 ~18GB / FP16 ~65GB · apache-2.0 · 262K · mlx需自查
证据23 下载 / 64 赞
本期 (7)
腾讯 Hy3 混合精度 GGUF，针对本地受限硬件极限压缩
适合H20 单卡/双卡本地推理 / 带自推测解码的低延迟生成
短板生产环境高并发在线服务
未公开 · apache-2.0 · 65536 · llama.cpp需自查
证据107 赞
网络安全领域8B微调模型, 本地离线运行红蓝队工具
适合渗透测试与漏洞分析辅助 / CTF 竞赛和安全代码审查
短板通用对话或未经人工审核的安全决策
Q4 ~5.3GB / FP16 ~19GB · llama3.1 · 2k · ollama需自查
证据51.1k 下载 / 87 赞
1B 思考模型，改进编码与指令遵循，适合本地部署
适合代码生成与调试 / 需要推理的指令遵循
短板高难度通用推理
Q4 ~0.7GB / FP16 ~2.6GB · Apache-2.0 · 128k · transformers需自查
证据3483 下载 / 129 赞
未审查文本生成模型，卡信息缺失
适合无限制对话 / 创意写作
短板需要内容安全过滤的场景
Q4 ~3.3GB / FP16 ~12GB · 未知 · 未知 · transformers需自查
证据3666 下载 / 23 赞
多语言翻译 MoE 模型的 APEX 量化版，供本地 GGUF 推理
适合多语种离线文本翻译 / 本地资源受限设备翻译服务
短板需要在线 API 的场景
Q4 ~20GB / FP16 ~72GB · Apache-2.0 · 未知 · llama.cpp需自查
证据316 下载 / 1 赞
GGUF 量化，解禁角色扮演与图像描述
适合无审查角色扮演对话 / 图像内容描述
短板高精度视觉推理任务
Q4 ~2.6GB / FP16 ~9.6GB · apache-2.0 · 未知 · ollama需自查
证据310 下载