谷歌 Gemma 4 指令模型 GGUF 量化版，本地高效部署
- 部署
-
- py lmstudio://download?model=lmstudio-community/gemma-4-E2B-it-GGUF
- hf huggingface-cli download lmstudio-community/gemma-4-E2B-it-GGUF --local-dir ./models
本期 (17)
9B多令牌预测代码模型，GGUF量化，面向代码推理
- 部署
-
- oll ollama run hf.co/Jackrong/Qwopus3.5-9B-Coder-MTP-GGUF:Q4_K_M
- py llama.cpp: ./llama-cli -m qwopus3.5-9b-coder-mtp.Q4_K_M.gguf -ngl 99
- py llama-cpp-python: Llama(model_path='<gguf-path>')
本地运行 397B MoE 多模态，GGUF 量化 + MTP 加速
- 部署
-
- py llama.cpp: ./llama-cli -m Qwen3.5-397B-A17B-Q4_K_M.gguf --spec-type draft-mtp --spec-draft-model ./mtp-Qwen_Qwen3.5-397B-A17B-Q8_0.gguf
- py LM Studio: 搜索 bartowski Qwen3.5-397B-A17B 直接下载
- hf huggingface-cli download bartowski/Qwen_Qwen3.5-397B-A17B-GGUF --include 'Qwen3.5-397B-A17B-Q4_K_M.gguf' --local-dir ./
NVIDIA 多模态推理模型 GGUF 量化版，本地推理用
- 部署
-
- py LM Studio 搜索 Nemotron-3-Nano-Omni 一键下载
- py llama.cpp 运行: ./llama-cli -m <gguf-file>
35B MoE仅3B激活的GGUF量化版，适合本地中文开发
- 部署
-
- hf huggingface-cli download lmstudio-community/Qwen3.6-35B-A3B-GGUF --include '*.gguf' --local-dir ./models
- py llama-cli -m models/<文件名>.gguf -p '你好'
26B总参/4B活跃的MoE指令模型，面向本地推理
- 部署
-
- hf huggingface-cli download lmstudio-community/gemma-4-26B-A4B-it-GGUF
- py llama-cli -m gemma-4-26B-A4B-it-Q4_K_M.gguf -p 你好
- py LM Studio 搜索 gemma-4-26B-A4B-it 加载
Google 31B 指令模型 GGUF 量化版，本地消费级硬件推理
- 部署
-
- oll ollama run hf.co/lmstudio-community/gemma-4-31B-it-GGUF:Q4_K_M
- py llama-cli -m gemma-4-31b-it.Q4_K_M.gguf -p "你的提示"
27B参数GGUF版，本地AI原型开发
- 部署
-
- hf huggingface-cli download lmstudio-community/Qwen3.6-27B-GGUF
- py llama.cpp: ./llama-cli -m Qwen3.6-27B-Q4_K_M.gguf
- py LM Studio: 社区模型页一键下载
Gemma4-4B-it 量化版, 本地轻量推理
- 部署
-
- py LM Studio 搜索 gemma-4-E4B-it-GGUF 下载
- hf huggingface-cli download lmstudio-community/gemma-4-E4B-it-GGUF
- py llama.cpp 加载 Q4_K_M 等量化文件
文档结构化提取和Markdown转换的4B视觉语言模型
- 部署
-
- vll vllm serve numind/NuExtract3 --trust-remote-code --limit-mm-per-prompt '{"image": 99, "video": 0}'
- py transformers AutoModelForImageTextToText.from_pretrained()
- url HF Space: https://huggingface.co/spaces/numind/NuExtract-3-4B
三模式 LM (AR/扩散/自推测)，为 AI 应用开发者提供高效生成
- 部署
-
- py transformers from_pretrained()
Qwen3.5-9B 多模态模型，MTP 投机解码，本地快速运行
- 部署
-
- py git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp && cmake -B build -DGGML_CUDA=ON && cmake --build build --target llama-server
- py ./llama.cpp/build/bin/llama-server -hf unsloth/Qwen3.5-9B-MTP-GGUF:UD-Q4_K_XL -ngl 99 -fa on --spec-type draft-mtp
MiniMax M2.7 GGUF量化版，适合本地部署与实验
- 部署
-
- hf huggingface-cli download lmstudio-community/MiniMax-M2.7-GGUF --local-dir . && ./llama-cli -m <file>.gguf
- oll ollama create MiniMax-M2.7 -f Modelfile (FROM ./file.gguf)
IBM Granite 30B GGUF量化, 本地部署与推理
- 部署
-
- py LM Studio: 搜索 'granite-4.1-30b' 直接下载
- py llama.cpp: huggingface-cli download lmstudio-community/granite-4.1-30b-GGUF --include '*.gguf' --local-dir . && ./llama-cli -m <file>
IBM Granite 4.1 3B GGUF量化，本地推理与边缘部署
- 部署
-
- py LM Studio 搜索 granite-4.1-3b-GGUF 下载运行
- py llama.cpp -m granite-4.1-3b-Q4_K_M.gguf
IBM Granite 4.1 8B的GGUF量化，用于本地推理
- 部署
-
- py 在LM Studio中搜索'granite-4.1-8b-GGUF'下载加载
- py llama.cpp -m granite-4.1-8b.gguf
Apple芯片上本地运行的Llama2 7B对话模型
- Apple Silicon
- 部署
-
- py git clone https://github.com/ml-explore/mlx-examples && pip install mlx huggingface_hub && huggingface-cli download mlx-community/Llama-2-7b-chat-mlx --local-dir model
- py python mlx-examples/llama/llama.py --prompt 'Hi' model/