可用 CPU 运行的文本生成模型
共 54 个
当前运行配置
XingChen-AGI/Xing4.0-29B-A4B- 显存
- 暂无估算
查看详情查看运行方式
vllm serve XingChen-AGI/Xing4.0-29B-A4B- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- apache-2.0(原卡声明)
- 上下文
- 256k (可扩展 512k)
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
Qwen1.5-MoE-A2.7B-GGUF (TULLUS)
量化自 Qwen1.5-MoE-A2.7B
Qwen1.5-MoE-A2.7B GGUF 量化版
- 参数量
- 14.3B 总参数 / 2.7B 激活
- 商用
- 限制商用
当前运行配置
TULLUS/Qwen1.5-MoE-A2.7B-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/TULLUS/Qwen1.5-MoE-A2.7B-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- tongyi-qianwen
- 国内可达
- 需代理
Bonsai-2-27B-Ternary-CRACK-GGUF (dealignai)
量化自 Ternary-Bonsai-2-27B-gguf
三元 2.13bpw 去拒绝 27B GGUF,7.2GB 本机研究用
- 参数量
- 27B
- 商用
- 可商用
Qwen3.8-35B-A3B-Distill-GGUF (Empero)
量化自 Qwen3.8-35B-A3B-Distill
35B MoE/3B 激活 GGUF,本地推理用
- 参数量
- 35B (3B 激活)
- 商用
- 可商用
当前运行配置
empero-ai/Qwen3.8-35B-A3B-Distill-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
prism-ml/Ternary-Bonsai-2-27B-gguf- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/prism-ml/Ternary-Bonsai-2-27B-gguf- 为何暂无估算
- 格式线索互相矛盾(含估算映射未支持的位宽),无法估算显存
- 许可证
- Apache 2.0
- 上下文
- 262K
- 国内可达
- 需代理
当前运行配置
XHToken/Spark-X2.5-4B- 显存
- 暂无估算
查看详情查看运行方式
vllm serve XHToken/Spark-X2.5-4B --trust-remote-code- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 上下文
- 1M
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
K2-Horizon-MoVA-36B-A4B (IFM)
量化自 K2-Horizon-MoVA-36B-A4B
36B MoE 开源模型,4B 激活,面向 agent/推理
- 参数量
- 36B (4B 激活)
- 商用
- 可商用
当前运行配置
IFM/K2-Horizon-MoVA-36B-A4B- 显存
- 暂无估算
查看详情查看运行方式
vllm serve IFM/K2-Horizon-MoVA-36B-A4B --trust-remote-code --reasoning-parser k2_horizon --tool-call-parser k2_horizon --enable-auto-tool-choice- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 上下文
- 512k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
当前运行配置
z-lab/Qwen3.8-27B-DFlash2- 显存
- 暂无估算
查看详情查看运行方式
vllm serve Qwen/Qwen3.8-27B --speculative-config '{"method":"dflash","model":"z-lab/Qwen3.8-27B-DFlash2","num_speculative_tokens":7}'- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生·z-lab · 原生·incoai · GGUF·incoai · GGUF·z-lab
Qwen3.8-27B-Unleashed (outsourc-e)
量化自 Qwen3.8-27B-Uncensored
无审查 Qwen3.8-27B 动态量化 GGUF,本地推理
- 参数量
- 27B
- 商用
- 可商用
当前运行配置
ornith-ai/Ornith-1.5-35B-A3B- 显存
- 暂无估算
查看详情查看运行方式
vllm serve ornith-ai/Ornith-1.5-35B-A3B --trust-remote-code --reasoning-parser qwen3 --tool-call-parser qwen3_xml --enable-auto-tool-choice- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- MIT
- 上下文
- 262k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
LFM2.5-8B-A1B-DSpark-GGUF (LiquidAI)
量化自 LFM2.5-8B-A1B-DSpark-Draft-v1
8B-A1B 投机解码草稿侧车,配 llama.cpp 加速
- 参数量
- 8B
- 商用
- 需自查
当前运行配置
LiquidAI/LFM2.5-8B-A1B-DSpark-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/LiquidAI/LFM2.5-8B-A1B-DSpark-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- other (lfm1.0)
- 国内可达
- 需代理
当前运行配置
ornith-ai/Ornith-1.5-9B- 显存
- 暂无估算
查看详情查看运行方式
vllm serve ornith-ai/Ornith-1.5-9B --served-model-name Ornith-1.5-9B --max-model-len 262144 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 --trust-remote-code- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- MIT
- 上下文
- 262k(YaRN 可扩展至约 1M)
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
Qwen3.8-27B Heretic Abliterated GGUF (0bserverx)
量化自 Qwen3.8-27B
Qwen3.8-27B 去安全限制 GGUF,供角色扮演与创作
- 参数量
- 27B
- 商用
- 可商用
当前运行配置
nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16- 显存
- ~63GB BF16(估算)
查看详情查看运行方式
vllm serve nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16- 许可证
- OpenMDW-1.1
- 上下文
- 1M
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
当前运行配置
Scrappy-Doo/GLM-5.2- 显存
- 暂无估算
查看详情查看运行方式
vllm serve Scrappy-Doo/GLM-5.2 --trust-remote-code- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- MIT
- 上下文
- 1M
- 国内可达
- 需代理
- 其它形态
- 原生·scrappy-doo · GGUF · 原生·zai-org
当前运行配置
Nanbeige/Nanbeige4.2-3B- 显存
- 暂无估算
查看详情查看运行方式
ollama run nanbeige/nanbeige4.2:3b-Q4_K_M- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache 2.0
- 上下文
- 131k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
当前运行配置
LiquidAI/LFM2.5-2.6B- 显存
- 暂无估算
查看详情查看运行方式
llama-server -hf LiquidAI/LFM2.5-2.6B-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- LFM Open License v1.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit
当前运行配置
huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- MIT
- 上下文
- 256k
- 国内可达
- 需代理
当前运行配置
antirez/deepseek-v4-gguf- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/antirez/deepseek-v4-gguf- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- MIT
- 上下文
- 100k
- 国内可达
- 需代理
当前运行配置
lmstudio-community/DeepSeek-V4-Flash-0731-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/lmstudio-community/DeepSeek-V4-Flash-0731-GGUF- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- MIT
- 国内可达
- 需代理
- 其它形态
- GGUF·lmstudio · GGUF·unsloth
gemma-4-E2B-it-crap-gguf (matthewhaynesonline)
量化自 gemma-4-E2B-it-crap
直接生成可执行ELF hex的文本模型
- 参数量
- 约4.3B (基于F16.gguf 8.6GiB推断)
- 商用
- 可商用
Grok-3-reasoning-gemma3-4B-GGUF (mradermacher)
量化自 Grok-3-reasoning-gemma3-4B-distilled-HF
Grok-3推理蒸馏Gemma3-4B的GGUF量化版
- 参数量
- 4B
- 商用
- 可商用
当前运行配置
mradermacher/Grok-3-reasoning-gemma3-4B-distilled-HF-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/mradermacher/Grok-3-reasoning-gemma3-4B-distilled-HF-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
poolside/Laguna-S-2.1-GGUF- 显存
- 暂无估算
查看详情查看运行方式
llama-server -hf poolside/Laguna-S-2.1-GGUF -m laguna-s-2.1-Q4_K_M.gguf --jinja- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- openmdw-1.1
- 上下文
- 256K
- 国内可达
- 需代理
- 其它形态
- GGUF·poolside · GGUF·lmstudio
Dolphin3-Cyber-8B (RavichandranJ)
量化自 Dolphin3.0-Llama3.1-8B-abliterated
网络安全领域8B微调模型, 本地离线运行红蓝队工具
- 参数量
- 8B
- 商用
- 限制商用
当前运行配置
RavichandranJ/Dolphin3-Cyber-8B-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/RavichandranJ/Dolphin3-Cyber-8B-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- llama3.1
- 上下文
- 2k
- 国内可达
- 需代理
当前运行配置
alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
AngelSlim/Hy3-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/AngelSlim/Hy3-GGUF- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- apache-2.0
- 上下文
- 65536
- 国内可达
- 魔搭可用
当前运行配置
GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
当前运行配置
empero-ai/Qwythos-9B-v2- 显存
- 暂无估算
查看详情查看运行方式
vllm serve empero-ai/Qwythos-9B-v2 --trust-remote-code- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- Apache-2.0
- 上下文
- 1048k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF
LFM2.5-8B-A1B-APEX (LiquidAI / LocalAI)
量化自 LFM2.5-8B-A1B
8B参数1B激活MoE,消费级GPU可运行的APEX量化
- 参数量
- 8B (激活1B)
- 商用
- 需自查
当前运行配置
mudler/LFM2.5-8B-A1B-APEX-GGUF- 显存
- 暂无估算
查看详情查看运行方式
llama-server -hf mudler/LFM2.5-8B-A1B-APEX-GGUF:LFM2.5-8B-A1B-APEX-I-Balanced.gguf- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- LFM1.0
- 国内可达
- 需代理
当前运行配置
mradermacher/Mythos-nano-i1-GGUF- 显存
- 暂无估算
查看详情查看运行方式
HF_ENDPOINT=https://hf-mirror.com llama-server -hf mradermacher/Mythos-nano-i1-GGUF --model Mythos-nano.i1-Q4_K_M.gguf- 为何暂无估算
- 缺少可用的参数量依据,无法估算显存
- 许可证
- MIT
- 国内可达
- 需代理
当前运行配置
mradermacher/prism-coder-14b-GGUF- 显存
- 暂无估算
查看详情查看运行方式
llama-server -hf mradermacher/prism-coder-14b-GGUF --model prism-coder-14b.Q4_K_M.gguf- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- apache-2.0
- 国内可达
- 需代理
当前运行配置
yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF- 显存
- 暂无估算
查看详情查看运行方式
ollama run hf.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- gemma
- 上下文
- 131k
- 国内可达
- 需代理
当前运行配置
tencent/Hy-MT2-1.8B-GGUF- 显存
- 暂无估算
查看详情查看运行方式
llama-server -hf tencent/Hy-MT2-1.8B-GGUF- 为何暂无估算
- 权重格式未知,无法估算显存
- 许可证
- apache-2.0
- 国内可达
- 魔搭可用