Delphi-25B (Marin Community)
Delphi扩展律研究基座，25B参数，终版模型
仅 safetensors · 无 pickle 加载风险
社区实测
Delphi 的核心产出是可复现的缩放定律：用 3e18–3e20 FLOPs 的小规模 IsoFLOP 最优拟合，外推约 300 倍至 1e23 FLOPs 的 25B 参数跑，预注册预测与实测损失仅差 0.2%。社区视其为缩放定律研究的开放基准与配方参考。
- 缩放定律准确预测大算力跑的训练损失：1e23 FLOPs 下误差 0.2%，1e21 与 1e22 验证跑误差均 <0.5%
- 外推跨度约 300 倍（从小规模 IsoFLOP 最优至前沿算力），验证了配方的可外推性
- 公开释放 checkpoint、训练混合数据与完整配方，为社区缩放研究提供可复现资源
- 发现并修正了 token-horizon 对学习率等超参数的影响，同时引入去掉权重衰减搜索的新优化器
- 通过 Marin Speedrun 社区驱动跟踪训练效率，形成开放排行榜与优化竞赛
- 证据仅涉及缩放定律预测精度，无社区讨论涉及模型实际生成质量、推理吞吐或日常使用体验
- 当前讨论集中在训练效率与损失预测，缺乏下游任务评估（benchmark 表现、人类偏好等）的证据
来源
Delphi - a marin-community Collection - Hugging FaceMarin's Open Scaling Suite Delphi Predicts 25B-Parameter Model ...Our 1e23 "Delphi" (~25B param model trained forMarin Speedrun - LeaderboardOpen Athena | Scaling Laws That Extrapolate 300× Past the Fit
截至 2026-07-05
快速上手
transformers.from_pretrained('marin-community/delphi-1e23-25Bparams-628Btokens')