此页是 2026-08-02 的观测快照,查看该模型当前信息 → /m/unsloth__inkling-small-gguf/

归档 / 2026-08-02 / Inkling-Small-GGUF (Unsloth)

Inkling-Small-GGUF (Unsloth)

多模态文本/图像/音频输入，GGUF 量化，适合本地运行。

入选理由: Inkling-Small 的 GGUF 量化版,可用 Ollama/llama.cpp 本地运行;原生图文音频多模态,12B 激活适合多模态 Agent,适合本地部署。
对位: 对位 Qwen3.5-A17B (激活17B)
适合: 多模态对话与工具调用 / 代码生成与 agent 任务
不适合: 实时流式音频生成
规模: 12B (激活, 276B 总) · 未知 · Q4 ~7.9GB / FP16 ~29GB
授权: apache-2.0 · 需自查
框架: vllm / sglang / ollama / llama.cpp
血统: 量化自 Inkling-Small
可信度: Hugging Face 下载量 17k+，由 Unsloth 量化发布。

快速上手示例

ollama run hf.co/unsloth/Inkling-Small-GGUF

依赖版本和硬件参数请以源仓库说明为准。

评分详情

Q1: 今天能接上用吗 5 / 5
Q2: 有可信证据吗 3 / 5
Q3: 是新东西吗 1 / 5
总分: 9

HuggingFace 原始数据 (抓取于 2026-08-02)

作者: unsloth
任务类型: image-text-to-text
推理库: 未指定
下载: 17,355
点赞: 69
许可证: apache-2.0
标签: gguf, conversational, image-text-to-text, audio-text-to-text, moe, unsloth, inkling_mm_model, base_model:thinkingmachines/Inkling-Small, base_model:quantized:thinkingmachines/Inkling-Small, license:apache-2.0, endpoints_compatible, region:us

探索