模型 / HRM-Text-1B (sapientinc)

HRM-Text-1B (sapientinc)

1B预对齐前缀LM，用前缀条件做结构化输出与推理

作者
sapientinc
对位
对位SmolLM2-1.7B、Qwen2.5-0.5B等小型预训练LM
适合
Few-shot 直接答案提取（direct前缀） / 复合条件 CoT 推理（synth,cot前缀）
不适合
聊天对话与代码生成
入选理由
需手动安装最新transformers，有示例；HRM循环架构。
规模
1B · 4096 · 最低 ~0.7GB · 4-bit(估算)
授权
Apache-2.0 · 可商用
框架
transformers
国内访问
需代理
可信度
下载884次，点赞112；训练数据开源(data_io)，许可证Apache-2.0

社区实测

社区对极低训练成本（~$1k）下实现数学推理超过 Llama3.2 3B 感到好奇，但讨论集中在发布初期的技术参数，实际使用反馈有限。

  • 极低成本复现：40B tokens 预训练约 $1k-$1.5k，16×H100 约 46 小时可完成
  • 小参数量下的数学推理：在 MATH 基准上超过 Llama3.2 3B
  • 非标准模型架构：使用自定义 hrm_text 模型类，非 Llama/Qwen 等主流 decoder，生态兼容性受限
来源

Sapient Intelligence releases HRM-Text 1B: 40B tokensWhy This Tiny 1B Model Is Trending on Hugging Face ...HRM 1B : r/LocalLLaMA

截至 2026-07-19

本形态 ~0.7GB 4-bit · 国内 需代理 · 884 下载

仅 safetensors · 无 pickle 加载风险

快速上手

AutoModelForCausalLM.from_pretrained('sapientinc/HRM-Text-1B', trust_remote_code=True)

本形态源 ↗

下载动量

30天下载 29.9k → 22k · likes +14

观测时间线