2026-05-20

HRM-Text-1B (sapientinc)

1B预对齐前缀LM，用前缀条件做结构化输出与推理

入选理由: 需手动安装最新transformers，有示例；HRM循环架构。
对位: 对位SmolLM2-1.7B、Qwen2.5-0.5B等小型预训练LM
适合: Few-shot 直接答案提取（direct前缀） / 复合条件 CoT 推理（synth,cot前缀）
不适合: 聊天对话与代码生成
规模: 1B · 4096 · Q4 ~0.8GB / FP16 ~2.8GB
授权: Apache-2.0 · 可商用
框架: transformers
可信度: 下载884次，点赞112；训练数据开源(data_io)，许可证Apache-2.0

仅 safetensors · 无 pickle 加载风险

社区实测

社区对基准成绩感兴趣但普遍对营销话术持保留态度,认为 MMLU 短板恰好暴露了小数据量预训练的知识覆盖不足。

极低训练成本(~$1k)完成预训练
在 MATH、DROP 等推理基准上以 1B 参数量超越 Llama3.2 3B
数据效率极高,仅用 40B tokens(约为同类模型的 1/100~1/900)

MMLU 等知识类基准明显偏弱,40B tokens 不足以覆盖广泛世界知识
营销包装引发社区质疑,实际可用性尚待更多独立验证

来源

Sapient Intelligence releases HRM-Text 1B: 40B tokens, ~$1k pretrain, beats Llama3.2 3B on MATH and DROP : r/LocalLLaMA HRM-Text trains brain-inspired LLM for under $1,000 | AI Weekly

截至 2026-06-19

快速上手

AutoModelForCausalLM.from_pretrained('sapientinc/HRM-Text-1B', trust_remote_code=True)