HRM-Text-1B (sapientinc)
1B预对齐前缀LM,用前缀条件做结构化输出与推理
仅 safetensors · 无 pickle 加载风险
社区实测
社区对基准成绩感兴趣但普遍对营销话术持保留态度,认为 MMLU 短板恰好暴露了小数据量预训练的知识覆盖不足。
- 极低训练成本(~$1k)完成预训练
- 在 MATH、DROP 等推理基准上以 1B 参数量超越 Llama3.2 3B
- 数据效率极高,仅用 40B tokens(约为同类模型的 1/100~1/900)
- MMLU 等知识类基准明显偏弱,40B tokens 不足以覆盖广泛世界知识
- 营销包装引发社区质疑,实际可用性尚待更多独立验证
来源
Sapient Intelligence releases HRM-Text 1B: 40B tokens, ~$1k pretrain, beats Llama3.2 3B on MATH and DROP : r/LocalLLaMAHRM-Text trains brain-inspired LLM for under $1,000 | AI Weekly
截至 2026-06-19
快速上手
AutoModelForCausalLM.from_pretrained('sapientinc/HRM-Text-1B', trust_remote_code=True)