指南 / 视觉理解模型 / 可用 CPU 运行

可用 CPU 运行的视觉理解模型

共 28 个

• Qwen3.8-27B-TWIN-TURBO (DavidAU)

  量化自 Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored

  27B图像文本微调GGUF，面向本地硬件推理

  参数量

  27B

  商用

  可商用

  当前运行配置 DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NM-DAU-NEO-MTP-GGUF

  显存

  ~57GB BF16(估算)

  查看详情

  查看运行方式

  llama-server -hf DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NM-DAU-NEO-MTP-GGUF

  复制

  许可证

  Apache-2.0

  上下文

  256k

  国内可达

  需代理

• Swift-Qwen3.8-27B-GGUF (UkisAI)

  量化自 Swift-Qwen3.8-27b

  Qwen3.8-27B 低思考 token GGUF，支持图像输入

  参数量

  27B

  商用

  需自查

  当前运行配置 ukisai/Swift-Qwen3.8-27B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf ukisai/Swift-Qwen3.8-27B-GGUF:Q4_K_M --jinja -fa on -ngl 99 -c 262144 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0 --presence-penalty 0 --repeat-penalty 1.0

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Swift Open License v1.0 (gated)

  上下文

  262k

  国内可达

  需代理

• Qwen3.8-27B (ISTA-DASLab)

  量化自 Qwen3.8-27B

  GSQ-RCO 非均匀 GGUF 量化，含视觉投影器

  参数量

  27B

  商用

  可商用

  当前运行配置 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run hf.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  国内可达

  需代理

• Qwen3.8-27B-TURBO-Fable-Cold-Fusion (DavidAU)

  量化自 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU

  图像文本多模态 GGUF，面向本地消费级硬件部署

  参数量

  27B

  商用

  可商用

  当前运行配置 DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF

  显存

  ~57GB BF16(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  apache-2.0

  上下文

  256k

  国内可达

  需代理

• Tiel-Coder-35B-A3B-GGUF (peculiar-ragdoll)

  量化自 Ornith-1.5-35B-A3B

  35B-A3B 编程模型，本地 Agent 编码

  参数量

  35B-A3B

  商用

  可商用

  当前运行配置 peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF --hf-file Tiel-Coder-35B-A3B-UD-Q4_K_XL.gguf -ngl 99 --jinja

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  MIT

  国内可达

  需代理

• Dirk-Qwen3.8-27B (peculiar-ragdoll)

  量化自 Qwen3.8-27B

  27B GGUF 量化，Sharp 模板+MTP，视觉

  参数量

  27B

  商用

  可商用

  当前运行配置 peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf peculiar-ragdoll/Dirk-Qwen3.8-27B-GGUF:Q4_K_XL -ngl 99

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache-2.0

  国内可达

  需代理

• Huihui-Qwen3.8-27B-abliterated-GGUF (huihui-ai)

  量化自 Qwen3.8-27B

  去拒绝版 Qwen3.8-27B GGUF，多模态本地推理

  参数量

  27B

  商用

  可商用

  当前运行配置 huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run huihui_ai/Qwen3.8-abliterated

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  262k

  国内可达

  需代理

• Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 (DavidAU)

  量化自 Qwen3.8-27B-Cold-Fusion-GAIN-V1.1

  Qwen3.8-27B 微调 GGUF，减思考 token 支持视觉

  参数量

  27B

  商用

  可商用

  当前运行配置 DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

  显存

  ~57GB BF16(估算)

  查看详情

  查看运行方式

  llama-server -hf DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF

  复制

  许可证

  Apache-2.0

  上下文

  256k

  国内可达

  需代理

• Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF (HauhauCS)

  量化自 Qwen3.8-27B

  27B 未审查 GGUF，带视觉与 FastMTP

  参数量

  27B

  商用

  可商用

  当前运行配置 HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF --jinja

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache-2.0

  上下文

  262k 原生

  国内可达

  需代理

• Qwen3.8-27B (LM Studio)

  量化自 Qwen3.8-27B

  Qwen3.8-27B 量化版,本地图文对话与转写

  参数量

  27B

  商用

  可商用

  当前运行配置 lmstudio-community/Qwen3.8-27B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf lmstudio-community/Qwen3.8-27B-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  262k

  国内可达

  需代理

  其它形态

  GGUF·lmstudio · GGUF·atomicchat · GGUF·unsloth

• Qwen3.8-27B-Ridge-GGUF (empero-ai)

  量化自 Qwen3.8-27B

  Qwen3.8-27B 混合量化 GGUF，本地图文推理

  参数量

  27B

  商用

  可商用

  当前运行配置 empero-ai/Qwen3.8-27B-Ridge-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run hf.co/empero-ai/Qwen3.8-27B-Ridge-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache-2.0

  上下文

  262k / YaRN 1M

  国内可达

  需代理

• Muse-Glimmer-30B (meta-models)

  量化自 Muse-Glimmer-30B

  30B GGUF 量化模型，供 LM Studio 本地推理

  参数量

  30B

  商用

  需自查

  当前运行配置 lmstudio-community/Muse-Glimmer-30B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf lmstudio-community/Muse-Glimmer-30B-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache 2.0

  上下文

  128k+

  国内可达

  需代理

  其它形态

  GGUF·lmstudio · GGUF·meta-models · GGUF·unsloth

• Inkling-Small-GGUF (Unsloth)

  量化自 Inkling-Small

  多模态文本/图像/音频输入，GGUF 量化，适合本地运行。

  参数量

  12B (激活, 276B 总)

  商用

  可商用

  当前运行配置 unsloth/Inkling-Small-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run hf.co/unsloth/Inkling-Small-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  国内可达

  需代理

• Qwen3.5-9B-Defiant-Fable (DavidAU)

  无审查9B多模态模型，提升推理与指令跟随

  参数量

  9B

  商用

  需自查

  当前运行配置 DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF

  显存

  ~19GB BF16(估算)

  查看详情

  查看运行方式

  llama-server -hf DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF

  复制

  许可证

  Apache 2.0

  上下文

  256k

  国内可达

  需代理

• Warmly 0.8B (neureps)

  LoRA · 基于 Qwen3.5-0.8B-enko

  0.8B韩英图像字幕与对话，LoRA适配低内存设备

  参数量

  0.8B

  商用

  可商用

  当前运行配置 neureps/warmly-qwen35-08b-enko-gguf

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run hf.co/neureps/warmly-qwen35-08b-enko-gguf

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache-2.0

  国内可达

  需代理

• Qwen3.6-27B-Fable-Fusion (DavidAU)

  多阶段微调的27B视觉模型，提升推理与创意写作

  参数量

  27B

  商用

  需自查

  当前运行配置 DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF

  显存

  ~57GB BF16(估算)

  查看详情

  查看运行方式

  ollama run hf.co/DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF

  复制

  许可证

  Apache 2.0

  上下文

  256k

  国内可达

  需代理

• FrickFritz-4B-GGUF (fattis)

  量化自 FrickFritz-4B

  GGUF 量化，解禁角色扮演与图像描述

  参数量

  4B

  商用

  可商用

  当前运行配置 fattis/FrickFritz-4B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama run hf.co/fattis/FrickFritz-4B-GGUF

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  国内可达

  需代理

• ThinkingCap-Qwen3.6-27B (bottlecapai)

  量化自 ThinkingCap-Qwen3.6-27B

  视觉语言模型，思考令牌减半，GGUF量化，适合本地运行

  参数量

  27B

  商用

  需自查

  当前运行配置 bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF:Q4_K_M --mmproj bottlecapai/ThinkingCap-Qwen3.6-27B-GGUF:mmproj-ThinkingCap-Qwen3.6-27B-f16.gguf

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  国内可达

  需代理

• Unlimited-OCR (Baidu)

  量化自 Unlimited-OCR

  3B 视觉语言 OCR 模型，文档解析与 Markdown 转换

  参数量

  3B

  商用

  可商用

  当前运行配置 sahilchachra/Unlimited-OCR-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  huggingface-cli download sahilchachra/Unlimited-OCR-GGUF --include Unlimited-OCR-Q4_K_M.gguf mmproj-Unlimited-OCR-F16.gguf --local-dir ./uocr

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  MIT

  国内可达

  需代理

• DiffusionGemma-26B-A4B-it (Google)

  量化自 diffusiongemma-26B-A4B-it

  离散扩散文本生成，支持图像/视频输入，低延迟

  参数量

  25.2B (3.8B active)

  商用

  可商用

  当前运行配置 unsloth/diffusiongemma-26B-A4B-it-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  DiffusionGemmaForBlockDiffusion.from_pretrained("google/diffusiongemma-26B-A4B-it", device_map="auto")

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache 2.0

  上下文

  256k

  国内可达

  需代理

• Gemma-4-31B-QAT-GGUF (unsloth)

  量化自 gemma-4-31B-it-qat-q4_0-unquantized

  Gemma 4 31B 量化图文模型，支持工具调用，本地部署

  参数量

  31B

  商用

  可商用

  当前运行配置 unsloth/gemma-4-31B-it-qat-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama-server -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL --spec-type draft-mtp --spec-draft-n-max 4 -ngl 999

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  256k

  国内可达

  需代理

  其它形态

  GGUF·unsloth · GGUF·google · GGUF·lmstudio

• Gemma-4-26B-A4B-QAT-GGUF (Unsloth)

  量化自 gemma-4-26B-A4B-it-qat-q4_0-unquantized

  Gemma 4 26B MoE 量化版，用于本地图像与文本推理

  参数量

  25.2B (3.8B active)

  商用

  可商用

  当前运行配置 unsloth/gemma-4-26B-A4B-it-qat-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式(还有 2 种)

  ollama run unsloth/gemma-4-26B-A4B-it-qat-GGUF

  复制

  其它 2 种运行方式见详情页。

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache-2.0 (Gemma)

  上下文

  256K

  国内可达

  需代理

  其它形态

  GGUF·unsloth · GGUF·lmstudio

• gemma-4-12B-it (Google)

  量化自 gemma-4-12B-it

  12B 多模态模型，支持图文音频输入，本地 GGUF 量化部署

  参数量

  12B

  商用

  可商用

  当前运行配置 lmstudio-community/gemma-4-12B-it-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  ollama: ollama run hf.co/lmstudio-community/gemma-4-12B-it-GGUF:Q4_K_M

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  Apache 2.0

  上下文

  256k

  国内可达

  需代理

  其它形态

  GGUF·lmstudio · GGUF·unsloth

• Qwen3.5-9B-MTP-GGUF (unsloth)

  量化自 Qwen3.5-9B

  Qwen3.5-9B 多模态模型，MTP 投机解码，本地快速运行

  参数量

  9B

  商用

  可商用

  当前运行配置 unsloth/Qwen3.5-9B-MTP-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式(还有 1 种)

  git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp && cmake -B build -DGGML_CUDA=ON && cmake --build build --target llama-server

  复制

  其它 1 种运行方式见详情页。

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  262k (可扩展至1M)

  国内可达

  需代理

• Qwen3.6-27B-GGUF (unsloth)

  量化自 Qwen3.6-27B

  27B参数GGUF版，本地AI原型开发

  参数量

  27B

  商用

  可商用

  当前运行配置 unsloth/Qwen3.6-27B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式

  llama.cpp: ./main -m Qwen3.6-27B-Q4_K_M.gguf

  复制

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  262k (可扩展至1M)

  国内可达

  需代理

  其它形态

  GGUF·unsloth · GGUF·lmstudio · GGUF·unsloth·MTP

• Qwen3.6-35B-A3B-GGUF (Unsloth)

  量化自 Qwen3.6-35B-A3B

  35B MoE仅3B激活的GGUF量化版，适合本地中文开发

  参数量

  35B (3B 激活)

  商用

  可商用

  当前运行配置 unsloth/Qwen3.6-35B-A3B-GGUF

  显存

  暂无估算

  查看详情

  查看运行方式(还有 1 种)

  ollama run hf.co/unsloth/Qwen3.6-35B-A3B-GGUF

  复制

  其它 1 种运行方式见详情页。

  为何暂无估算

  权重格式未知,无法估算显存

  许可证

  apache-2.0

  上下文

  262k (可扩展至1M)

  国内可达

  需代理

  其它形态

  GGUF·unsloth · GGUF·lmstudio · GGUF·unsloth·MTP

• Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF (DavidAU)

  量化自 Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking

  解禁版Qwen3.6-27B量化模型，为创意写作与代码而生

  参数量

  27B

  商用

  可商用

  当前运行配置 DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF

  显存

  ~57GB BF16(估算)

  查看详情

  查看运行方式

  llama-server -hf DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF

  复制

  许可证

  apache-2.0

  上下文

  256k

  国内可达

  需代理

• Qwen3.6-40B (DavidAU)

  量化自 Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking

  多模态无审查推理模型，面向代码与视觉应用

  参数量

  40B

  商用

  可商用

  当前运行配置 DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF

  显存

  ~84GB BF16(估算)

  查看详情

  查看运行方式(还有 1 种)

  llama-cli -m <gguf-file> -p '你的提示'

  复制

  其它 1 种运行方式见详情页。

  许可证

  apache-2.0

  国内可达

  需代理

← 回到视觉理解模型全部 34 个