8GB 显存能跑的文本生成模型
共 11 个
本档按本站显存估算 ≤ 8GB 筛选(估算更低的配置一并列入);估算是按参数量和权重格式粗算,并非运行保证。
当前运行配置
chaoliangUNSW/Jev-Style-Qwen3.5-2B-Decision-MLX-bf16- 显存
- ~4.2GB BF16(估算)
查看详情查看运行方式
mlx_lm.generate --model chaoliangUNSW/Jev-Style-Qwen3.5-2B-Decision-MLX-bf16- 许可证
- Apache-2.0
- 国内可达
- 需代理
当前运行配置
Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx- 显存
- ~5.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model Mihai-LeanZero/Qwen3.5-9B-Atlassian-Q4-mlx --prompt "Which Forge module adds a panel to the Jira issue view?"- 许可证
- Apache-2.0
- 上下文
- 32k
- 国内可达
- 需代理
- 其它形态
- MLX·mihai-leanzero · MLX·mihai-leanzero
本档靠
lmstudio-community/LFM2.5-2.6B-MLX-4bit(4bit)- 显存
- ~1.6GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/LFM2.5-2.6B-MLX-4bit- 许可证
- LFM Open License v1.0
- 上下文
- 128k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·liquidai · GGUF·lmstudio · 4bit · 8bit
本档靠
lmstudio-community/Ornith-1.0-9B-MLX-4bit(4bit)- 显存
- ~5.4GB 4-bit(估算)
下方显存与命令都属于这个配置
查看详情查看运行方式
mlx_lm.generate --model lmstudio-community/Ornith-1.0-9B-MLX-4bit- 许可证
- mit
- 上下文
- 256k
- 国内可达
- 需代理
- 其它形态
- 原生 · GGUF·deepreinforce-ai · GGUF·lmstudio · 4bit · 8bit · GGUF·protolabsai
当前运行配置
zak-raindog/gear-manual-qwen3-4b- 显存
- ~2.4GB 4-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model zak-raindog/gear-manual-qwen3-4b --prompt "如何使用EP-133?"- 许可证
- cc-by-nc-4.0
- 国内可达
- 需代理
当前运行配置
prism-ml/Bonsai-27B-mlx-1bit- 显存
- ~4.1GB 1-bit(估算)
查看详情查看运行方式
mlx_lm.generate --model prism-ml/Bonsai-27B-mlx-1bit- 许可证
- apache-2.0
- 上下文
- 262K
- 国内可达
- 需代理
当前运行配置
mlx-community/Meta-Llama-3-8B-Instruct-4bit- 显存
- ~4.8GB 4-bit(估算)
查看详情查看运行方式
pip install mlx-lm && mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit --prompt "hello"- 许可证
- llama3
- 上下文
- 8k
- 国内可达
- 需代理