指南 / 文本生成模型 / 24GB 显存能跑

24GB 显存能跑的文本生成模型

共 22 个

显存档为包含式:更低显存也能跑的模型一并列在此。数值取 Q4 量化后显存估算。

• Qwen3.5-9B-Atlassian-Q4-mlx (LeanZero)

  LoRA · 基于 Qwen3.5-9B

  面向 Atlassian Forge 的 6-bit MLX 模型

  参数量

  9B

  商用

  可商用

  当前运行配置 Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx

  显存

  ~5.4GB 4-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"

  复制

  许可证

  Apache-2.0

  上下文

  32k

  国内可达

  需代理

  其它形态

  MLX·mihai-leanzero · MLX·mihai-leanzero

• Qwen3.8-27B-Atlassian-Q8-mlx (LeanZero)

  LoRA · 基于 Qwen3.8-27B

  Atlassian 开发专用 27B MLX 模型

  参数量

  27B

  商用

  可商用

  本档靠 Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx (MLX·mihai-leanzero)

  显存

  ~16GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"

  复制

  许可证

  Apache-2.0

  上下文

  128k

  国内可达

  需代理

  其它形态

  MLX·mihai-leanzero · MLX·mihai-leanzero

• Edge0-35B-A3B-preview (Edge0)

  LoRA · 基于 Qwen3.5-MoE-35B-A3B

  35B 稀疏 MoE，3 GiB 内存可跑，面向设备端推理

  参数量

  35B (3B 激活)

  商用

  可商用

  当前运行配置 Edge0/Edge0-35B-A3B-preview

  显存

  ~21GB 4-bit(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  Apache-2.0

  国内可达

  需代理

• Qwen3.8-27B (Qwen)

  量化自 Qwen3.8-27B

  Mac本地Qwen3.8-27B-4bit量化

  参数量

  27B

  商用

  可商用

  当前运行配置 Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed

  显存

  ~16GB 4-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed

  复制

  许可证

  Apache-2.0

  上下文

  262k

  国内可达

  需代理

• Qwen3.8-27B-MTPLX-Optimized-Speed (Youssofal)

  量化自 Qwen3.8-27B

  Mac 上 Qwen3.8-27B 4-bit量化

  参数量

  27B

  商用

  可商用

  当前运行配置 Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed

  显存

  ~16GB 4-bit(估算)

  查看详情

  查看运行方式

  mtplx serve --model Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed

  复制

  许可证

  apache-2.0

  上下文

  262k

  国内可达

  需代理

• Qwen3.8-27B-Escha-W2 (Escha)

  量化自 Qwen3.8-27B

  2-bit 量化 27B 模型，24GB 显卡 64k 上下文

  参数量

  27B

  商用

  可商用

  当前运行配置 EschaLabs/Qwen3.8-27B-Escha-W2

  显存

  ~9.2GB 2-bit(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  Apache-2.0

  上下文

  128k

  国内可达

  需代理

• LFM2.5-2.6B (LiquidAI)

  量化自 LFM2.5-2.6B

  Apple Silicon 用 4-bit 量化 LFM，始终思考模式

  参数量

  2.6B

  商用

  需自查

  本档靠 lmstudio-community/LFM2.5-2.6B-MLX-4bit (4bit)

  显存

  ~1.6GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/LFM2.5-2.6B-MLX-4bit

  复制

  许可证

  LFM Open License v1.0

  上下文

  128k

  国内可达

  需代理

  其它形态

  原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit

• Maple-Preview (DeepGrove)

  20B-A1B 三元推理模型，M4 218 tok/s

  参数量

  20B-A1B

  商用

  可商用

  当前运行配置 deepgrove/maple-preview

  显存

  ~5.4GB ternary(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  MIT

  上下文

  131k

  国内可达

  需代理

• Ornith-1.0-35B (DeepReinforce)

  量化自 Ornith-1.0-35B

  在 Apple Silicon 上运行的 35B 文本生成模型

  参数量

  35B

  商用

  可商用

  本档靠 lmstudio-community/Ornith-1.0-35B-MLX-4bit (4bit)

  显存

  ~21GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/Ornith-1.0-35B-MLX-4bit

  复制

  许可证

  mit

  上下文

  256k

  国内可达

  需代理

  其它形态

  原生 · FP8 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·unsloth

• Ornith-1.0-9B (DeepReinforce)

  量化自 Ornith-1.0-9B

  MLX 8-bit量化，为Apple Silicon优化

  参数量

  9B

  商用

  可商用

  本档靠 lmstudio-community/Ornith-1.0-9B-MLX-4bit (4bit)

  显存

  ~5.4GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/Ornith-1.0-9B-MLX-4bit

  复制

  许可证

  mit

  上下文

  256k

  国内可达

  需代理

  其它形态

  原生 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·protolabsai

• Bonsai-27B (Prism ML)

  量化自 Bonsai-27B-unpacked

  多模态 27B 模型，纯 Q1_0 量化，语言部分仅 3.8 GB

  参数量

  27B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-27B-gguf

  显存

  ~4.1GB 1-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  ollama run hf.co/prism-ml/Bonsai-27B-gguf

  复制

  其它 1 种运行方式见详情页。

  许可证

  Apache-2.0

  上下文

  262K

  国内可达

  需代理

  其它形态

  GGUF·prism-ml · GGUF·lmstudio

• Qwen3.6-35B-A3B-Escha-W2 (EschaLabs)

  量化自 Qwen3.6-35B-A3B

  2-bit Qwen3.6-35B-A3B，12.3GB，单卡本地推理

  参数量

  35B (3B active)

  商用

  可商用

  当前运行配置 EschaLabs/Qwen3.6-35B-A3B-Escha-W2

  显存

  ~12GB 2-bit(估算)

  查看详情

  暂无收录命令

  本站暂未收录这个配置的命令;请看详情页或官方仓库,不借用其它配置的命令。

  许可证

  Apache-2.0

  上下文

  128k

  国内可达

  需代理

• POCKET-KR-MLX (FINAL-Bench)

  量化自 Darwin-36B-Opus

  35B 韩语模型，在 iPhone/Mac 上用 MLX 本地运行

  参数量

  35B

  商用

  可商用

  当前运行配置 FINAL-Bench/POCKET-KR-MLX

  显存

  ~12GB 2-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model FINAL-Bench/POCKET-KR-MLX

  复制

  许可证

  Apache-2.0

  国内可达

  需代理

• gear-manual-qwen3-4b (Raindog)

  量化自 Qwen3-4B

  面向硬件音乐设备的本地助手，基于Qwen3-4B微调

  参数量

  4B

  商用

  不可商用

  当前运行配置 zak-raindog/gear-manual-qwen3-4b

  显存

  ~2.4GB 4-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"

  复制

  许可证

  cc-by-nc-4.0

  国内可达

  需代理

• Bonsai-27B-mlx-1bit (Prism ML)

  量化自 Qwen3.6-27B

  1-bit 27B 模型, 可在手机和笔记本本地运行推理

  参数量

  27B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-27B-mlx-1bit

  显存

  ~4.1GB 1-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit

  复制

  许可证

  apache-2.0

  上下文

  262K

  国内可达

  需代理

• Ornith-1.0-35B-MLX (deepreinforce-ai)

  量化自 Ornith-1.0-35B

  Apple Silicon 上 Claude-Code 式本地编码代理

  参数量

  35B (3B 活跃)

  商用

  需自查

  当前运行配置 nathansutton/Ornith-1.0-35B-UD-Q2_K_XL-MLX

  显存

  ~12GB 2-bit(估算)

  查看详情

  查看运行方式

  uvx --from git+https://github.com/nathansutton/mlxcc chad

  复制

  国内可达

  需代理

• Agents-A1 (InternScience)

  量化自 Agents-A1

  35B MoE 视觉 Agent，用于长程搜索与工具调用

  参数量

  35B MoE

  商用

  需自查

  本档靠 InternScience/Agents-A1-Q4_K_M-GGUF (GGUF)

  显存

  ~21GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  ollama run hf.co/InternScience/Agents-A1-Q4_K_M-GGUF

  复制

  许可证

  Apache 2.0

  上下文

  262k

  国内可达

  魔搭可用

  其它形态

  原生 · GGUF

• Qwen3.6-27B-MTPLX (Youssofal)

  Qwen3.6-27B 的 MLX 推理加速版供苹果芯片

  参数量

  27B

  商用

  可商用

  当前运行配置 Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed

  显存

  ~16GB 4-bit(估算)

  查看详情

  查看运行方式(还有 2 种)

  brew install youssofal/mtplx/mtplx

  复制

  其它 2 种运行方式见详情页。

  许可证

  Apache-2.0

  国内可达

  需代理

• BitCPM-CANN-8B (OpenBMB)

  昇腾原生1.58-bit三元LLM，推理内存降6x，保持95.7%性能

  参数量

  8B

  商用

  可商用

  当前运行配置 openbmb/BitCPM-CANN-8B

  显存

  ~2.2GB ternary(估算)

  查看详情

  查看运行方式(还有 1 种)

  ollama create 从 https://huggingface.co/openbmb/BitCPM-CANN-8B-gguf 导入

  复制

  其它 1 种运行方式见详情页。

  许可证

  apache-2.0

  国内可达

  需代理

• aro-coder-4bit (ARO-Lang)

  LoRA · 基于 Qwen3-Coder-30B-A3B-Instruct-4bit

  为ARO语言微调的代码生成器，4bit量化，供ARO DSL开发者使用

  参数量

  30B (3B active)

  商用

  可商用

  当前运行配置 ARO-Lang/aro-coder-4bit

  显存

  ~18GB 4-bit(估算)

  查看详情

  查看运行方式(还有 2 种)

  ollama run aro-coder

  复制

  其它 2 种运行方式见详情页。

  许可证

  MIT

  国内可达

  需代理

• Meta-Llama-3-8B-Instruct-4bit (mlx-community)

  Llama-3-8B 4-bit版，M系列芯片本地推理

  参数量

  8B

  商用

  限制商用

  当前运行配置 mlx-community/Meta-Llama-3-8B-Instruct-4bit

  显存

  ~4.8GB 4-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello"

  复制

  其它 1 种运行方式见详情页。

  许可证

  llama3

  上下文

  8k

  国内可达

  需代理

• Bonsai-8B-mlx-1bit (PrismML)

  量化自 Bonsai-8B-unpacked

  Apple Silicon 的 1-bit LLM，端侧极低内存推理

  参数量

  8B

  商用

  可商用

  当前运行配置 prism-ml/Bonsai-8B-mlx-1bit

  显存

  ~1.2GB 1-bit(估算)

  查看详情

  查看运行方式

  pip install mlx-lm; pip install mlx@git+https://github.com/PrismML-Eng/mlx.git@prism; from mlx_lm import load; load('prism-ml/Bonsai-8B-mlx-1bit')

  复制

  许可证

  Apache-2.0

  上下文

  65k

  国内可达

  需代理

← 回到文本生成模型全部 159 个