指南 / 智能体模型 / 16GB 显存能跑

16GB 显存能跑的智能体模型

共 4 个

显存档为包含式:更低显存也能跑的模型一并列在此。数值取 Q4 量化后显存估算。

• Granite-4.2-3B-MLX-8bit (LM Studio)

  量化自 granite-4.2-3b

  IBM Granite 3B MLX 量化，苹果芯片推理

  参数量

  3B

  商用

  可商用

  当前运行配置 lmstudio-community/granite-4.2-3b-MLX-8bit

  显存

  ~3.3GB 8-bit(估算)

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/granite-4.2-3b-MLX-8bit

  复制

  许可证

  apache-2.0

  国内可达

  需代理

  其它形态

  8bit · GGUF · 4bit

• Granite-4.2-8B (IBM)

  量化自 granite-4.2-8b

  Granite 8B MLX 4bit，Mac推理

  参数量

  8B

  商用

  可商用

  本档靠 lmstudio-community/granite-4.2-8b-MLX-4bit (4bit)

  显存

  ~4.8GB 4-bit(估算)

  下方显存与命令都属于这个配置

  查看详情

  查看运行方式

  mlx_lm.generate --model lmstudio-community/granite-4.2-8b-MLX-4bit --prompt 'Hello'

  复制

  许可证

  apache-2.0

  国内可达

  需代理

  其它形态

  GGUF · 4bit · 8bit

• Gemma-4-31B-it (Google)

  量化自 gemma-4-31B-it

  IQ2_M 31B 多模态 Agent，10 GiB 本地运行

  参数量

  31B

  商用

  限制商用

  当前运行配置 pearsonkyle/gemma-4-31b-imatrix-GGUF

  显存

  ~11GB 2-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  ollama run hf.co/pearsonkyle/gemma-4-31b-imatrix-GGUF:IQ2_M

  复制

  其它 1 种运行方式见详情页。

  许可证

  gemma

  国内可达

  需代理

• SuperGemma4-26B (Jiunsong)

  量化自 gemma-4-26B-A4B-it

  Gemma4 26B 无审查 MLX, 本地代理加速

  参数量

  26B (4-bit)

  商用

  限制商用

  当前运行配置 Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2

  显存

  ~16GB 4-bit(估算)

  查看详情

  查看运行方式(还有 1 种)

  mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2

  复制

  其它 1 种运行方式见详情页。

  许可证

  gemma

  国内可达

  需代理

← 回到智能体模型全部 57 个