24GB 显存能跑的文本生成模型
共 26 个
本档按本站显存估算 ≤ 24GB 筛选(估算更低的配置一并列入);估算是按参数量和权重格式粗算,并非运行保证。
Qwen3.8-35B-A3B-Distill (IsValorum)
量化自 Qwen3.8-35B-A3B-Distill
Mac 本地运行 Qwen3.8 MoE 量化
- 参数量
- 35B / 3B 激活
- 商用
- 可商用
当前运行配置
IsValorum/Qwen3.8-35B-A3B-Distill-MLX-APEX-MiniPlus-Abliterated- 显存
- ~21GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model IsValorum/Qwen3.8-35B-A3B-Distill-MLX-APEX-MiniPlus-Abliterated --prompt "Hello"- 许可证
- apache-2.0
- 上下文
- 262k
- 国内可达
- 需代理
Qwen3.8-35B-A3B-Distill MLX-NanoPlus (IsValorum)
量化自 Qwen3.8-35B-A3B-Distill
Apple Silicon 本地 MLX 混合精度 MoE
- 参数量
- 35B(3B 激活)
- 商用
- 可商用
当前运行配置
IsValorum/Qwen3.8-35B-A3B-Distill-MLX-APEX-NanoPlus-Abliterated- 显存
- ~17GB 3-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model IsValorum/Qwen3.8-35B-A3B-Distill-MLX-APEX-NanoPlus-Abliterated --prompt "Hello"- 许可证
- Apache-2.0
- 上下文
- 256k
- 国内可达
- 需代理
当前运行配置
monkiey/StarSupernova- 显存
- ~8.1GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model monkiey/StarSupernova- 许可证
- Apache-2.0
- 上下文
- 131k
- 国内可达
- 需代理
当前运行配置
chaoliangUNSW/Jev-Style-Qwen3.5-2B-Decision-MLX-bf16- 显存
- ~4.2GB BF16(估算)
查看详情查看运行方式
mlx_lm.generate --model chaoliangUNSW/Jev-Style-Qwen3.5-2B-Decision-MLX-bf16- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed- 显存
- ~16GB 4-bit(估算)
查看详情查看运行方式
mtplx serve --model Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed- 许可证
- apache-2.0
- 上下文
- 262k
- 国内可达
- 需代理
- 其它形态
- 原生·youssofal · 原生·youssofal
当前运行配置
Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx- 显存
- ~5.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"- 许可证
- Apache-2.0
- 上下文
- 32k
- 国内可达
- 需代理
- 其它形态
- MLX·mihai-leanzero · MLX·mihai-leanzero
本档靠
Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx(MLX·mihai-leanzero)- 显存
- ~16GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model Mihai-LeanZero/Qwen3.8-27B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"- 许可证
- Apache-2.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- MLX·mihai-leanzero · MLX·mihai-leanzero
Edge0-35B-A3B-preview (Edge0)
LoRA · 基于 Qwen3.5-MoE-35B-A3B
35B 稀疏 MoE,3 GiB 内存可跑,面向设备端推理
- 参数量
- 35B (3B 激活)
- 商用
- 可商用
当前运行配置
Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed- 显存
- ~16GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed- 许可证
- Apache-2.0
- 上下文
- 262k
- 国内可达
- 需代理
本档靠
lmstudio-community/LFM2.5-2.6B-MLX-4bit(4bit)- 显存
- ~1.6GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/LFM2.5-2.6B-MLX-4bit- 许可证
- LFM Open License v1.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit
本档靠
lmstudio-community/Ornith-1.0-35B-MLX-4bit(4bit)- 显存
- ~21GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/Ornith-1.0-35B-MLX-4bit- 许可证
- mit
- 上下文
- 256k
- 国内可达
- 需代理
- 其它形态
- 原生 · FP8 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·unsloth
本档靠
lmstudio-community/Ornith-1.0-9B-MLX-4bit(4bit)- 显存
- ~5.4GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/Ornith-1.0-9B-MLX-4bit- 许可证
- mit
- 上下文
- 256k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·protolabsai
Qwen3.6-35B-A3B-Escha-W2 (EschaLabs)
量化自 Qwen3.6-35B-A3B
2-bit Qwen3.6-35B-A3B,12.3GB,单卡本地推理
- 参数量
- 35B (3B active)
- 商用
- 可商用
当前运行配置
FINAL-Bench/POCKET-KR-MLX- 显存
- ~12GB 2-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model FINAL-Bench/POCKET-KR-MLX- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
zak-raindog/gear-manual-qwen3-4b- 显存
- ~2.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"- 许可证
- cc-by-nc-4.0
- 国内可达
- 需代理
当前运行配置
prism-ml/Bonsai-27B-mlx-1bit- 显存
- ~4.1GB 1-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit- 许可证
- apache-2.0
- 上下文
- 262K
- 国内可达
- 需代理
Ornith-1.0-35B-MLX (deepreinforce-ai)
量化自 Ornith-1.0-35B
Apple Silicon 上 Claude-Code 式本地编码代理
- 参数量
- 35B (3B 活跃)
- 商用
- 需自查
本档靠
InternScience/Agents-A1-Q4_K_M-GGUF(GGUF)- 显存
- ~21GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
ollama run hf.co/InternScience/Agents-A1-Q4_K_M-GGUF- 许可证
- Apache 2.0
- 上下文
- 262k
- 国内可达
- 魔搭可用
- 其它形态
- 原生 · GGUF
当前运行配置
Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed- 显存
- ~16GB 4-bit(估算)
查看详情查看运行方式
mtplx serve --model Youssofal/Qwen3.6-27B-MTPLX-Optimized-Speed --port 8000- 许可证
- Apache-2.0
- 国内可达
- 需代理
aro-coder-4bit (ARO-Lang)
LoRA · 基于 Qwen3-Coder-30B-A3B-Instruct-4bit
为ARO语言微调的代码生成器,4bit量化,供ARO DSL开发者使用
- 参数量
- 30B (3B active)
- 商用
- 可商用
当前运行配置
ARO-Lang/aro-coder-4bit- 显存
- ~18GB 4-bit(估算)
查看详情查看运行方式
python -m mlx_lm.server --model ARO-Lang/aro-coder-4bit --port 8080- 许可证
- MIT
- 国内可达
- 需代理
当前运行配置
mlx-community/Meta-Llama-3-8B-Instruct-4bit- 显存
- ~4.8GB 4-bit(估算)
查看详情查看运行方式
pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello"- 许可证
- llama3
- 上下文
- 8k
- 国内可达
- 需代理