模型 / Hy3-GGUF (腾讯)

Hy3-GGUF (腾讯)

腾讯 Hy3 混合精度 GGUF，针对本地受限硬件极限压缩

作者
AngelSlim
适合
H20 单卡/双卡本地推理 / 带自推测解码的低延迟生成
不适合
生产环境高并发在线服务
入选理由
腾讯Hy3的GGUF量化版，提供完整部署脚本和混合精度配方，支持MTP自推测解码，适合多卡服务器本地运行。
规模
65536
授权
apache-2.0 · 需自查
框架
llama.cpp / ollama
血统
量化自 Hy3
国内访问
魔搭可用
可信度
腾讯 AngelSlim 团队提供，附 llama.cpp 补丁与量化配方

国内 魔搭可用 · 0 下载

快速上手

ollama run hf.co/AngelSlim/Hy3-GGUF

本形态源 ↗

下载动量

观测时间线