Gemma-4-12B Agentic v2 (yuxinlu1)
编程与工具调用代理微调，供开发者本地使用
仅 safetensors · 无 pickle 加载风险
社区实测
该版本为社区实验性微调,在 Gemma 4 12B 基座上叠加 Composer 2.5 与 Fable 5 推理轨迹及 agentic 调优,面向编程与工具调用。基座模型以 encoder-free 架构实现文本/图像/音频/视频单次直通处理,可在约 4.5 GB 显存的消费级硬件本地运行,Apache 2.0 许可。但量化低于 Q4 时性能严重退化,实际 agentic 工具调用仍不稳定,同尺寸 Qwen 3.5 9B 在多数基准上领先。
- 可在消费级硬件上本地运行,最低约 4.5 GB 显存或统一内存
- 提供 Q3_K_M 到 Q8_0 多档量化,适配不同显存预算
- 兼容 llama.cpp、Ollama、LM Studio、vLLM 等主流本地推理框架
- 基座 Gemma 4 12B 采用 encoder-free 架构,文本/图像/音频/视频直通处理,无需单独编码器
- Apache 2.0 许可,可商用,完全离线本地运行
- 支持 MTP draft 投机解码,实测推理加速约 1.2–1.3 倍
- 融合 Composer 2.5 与 Fable 5 推理轨迹做编程能力微调
- 基座 12B 模型多项指标接近 26B 级别
- 量化低于 Q4 时模型性能严重退化
- 实际 agentic 工具调用场景中简单工具调用仍不可靠
- 同尺寸竞品 Qwen 3.5 9B 在 5/8 项基准测试中胜出,且参数量更小
- encoder-free 架构较新,社区适配和调试存在一定门槛
- 该微调为社区实验性产物,非官方发布
- 定性/创意类任务的实际表现可能不同于基准分数
yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF · Hugging Face(V2 IS INSANE) Gemma 4 12B+Agentic+Fable5+Composer2.5 : Local Coding AIGemma 4 12B: incompatible with opencode, or just awful at tool ...Gemma 4 12B Enables On-Device, Multimodal Agentic Workflows with an Encoder-free Architecture - InfoQGemma 4 Coder: 12B Model Carrying Fable 5's Reasoning on 8GB VRAM, Fully OfflineIs Gemma 4 12b good for coding? : r/LocalLLaMA - RedditNew Google Gemma 4 12B Claims Near-26B Performance - RedditIs Gemma 4 going to be the next Mistral (or Qwen3.6) one day ...gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 API & Inference Endpoint | FriendliAIIntroducing Gemma 4 12B: a unified, encoder-free multimodal modelGemma 4 12B: Multimodal AI That Runs on Your LaptopGemma 4 12B : Run Locally, Fine-Tune, Benchmark Performancegemma-4-12b-it vs Qwen3.5-9B on shared benchmarks - RedditGoogle Gemma 4 12B nearly matches 26B benchmarks — and runs on your laptop - The New Stack
截至 2026-07-08
快速上手示例
llama-server -hf yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF -ngl 99 --jinja 依赖版本和硬件参数请以源仓库说明为准。