归档 / 2026-05-21 / Qwen3.5-397B-A17B (Qwen)

Qwen3.5-397B-A17B (Qwen)

本地运行 397B MoE 多模态，GGUF 量化 + MTP 加速

部署
  • py llama.cpp: ./llama-cli -m Qwen3.5-397B-A17B-Q4_K_M.gguf --spec-type draft-mtp --spec-draft-model ./mtp-Qwen_Qwen3.5-397B-A17B-Q8_0.gguf
  • py LM Studio: 搜索 bartowski Qwen3.5-397B-A17B 直接下载
  • hf huggingface-cli download bartowski/Qwen_Qwen3.5-397B-A17B-GGUF --include 'Qwen3.5-397B-A17B-Q4_K_M.gguf' --local-dir ./
入选理由
GGUF格式直接可用，下载量近万；但仅为量化版本，无新能力，缺少第三方评测。
对位
对标 DeepSeek-V2 系列 236B MoE，本地量化替代云端 API
适合
多模态图像理解与对话 / 高吞吐本地推理，利用 MTP 加速
不适合
RAM <200GB 或消费级硬件
规模
397B (17B active) · 未知
授权
Apache 2.0
框架
llama.cpp / LM Studio / koboldcpp
可信度
imatrix 校准量化，SSM 小张量上转 F32，支持 MTP 推理 (llama.cpp b9180)

评分详情

Q1
今天能接上用吗   5 / 5
Q2
有可信证据吗   3 / 5
Q3
是新东西吗   1 / 5
总分
9

HuggingFace 原始数据 (抓取于 2026-05-21)

作者
bartowski
任务类型
image-text-to-text
推理库
未指定
下载
9,724
点赞
8
许可证
Apache 2.0
标签
gguf, image-text-to-text, base_model:Qwen/Qwen3.5-397B-A17B, base_model:quantized:Qwen/Qwen3.5-397B-A17B, license:apache-2.0, endpoints_compatible, region:us, conversational

探索

源链接 ↗