SummFlow 2026-07-16 Hugging Face

Hy3-GGUF (腾讯)

腾讯 Hy3 混合精度 GGUF，针对本地受限硬件极限压缩

入选理由
腾讯Hy3的GGUF量化版，提供完整部署脚本和混合精度配方，支持MTP自推测解码，适合多卡服务器本地运行。
对位
未知
适合
H20 单卡/双卡本地推理 / 带自推测解码的低延迟生成
不适合
生产环境高并发在线服务
规模
未公开 · 65536
授权
apache-2.0 · 需自查
框架
llama.cpp / ollama
血统
量化自 Hy3
可信度
腾讯 AngelSlim 团队提供，附 llama.cpp 补丁与量化配方

快速上手

ollama run hf.co/AngelSlim/Hy3-GGUF