Delphi-25B (Marin Community)

社区实测

Delphi 的核心产出是可复现的缩放定律：用 3e18–3e20 FLOPs 的小规模 IsoFLOP 最优拟合，外推约 300 倍至 1e23 FLOPs 的 25B 参数跑，预注册预测与实测损失仅差 0.2%。社区视其为缩放定律研究的开放基准与配方参考。

• 缩放定律准确预测大算力跑的训练损失：1e23 FLOPs 下误差 0.2%，1e21 与 1e22 验证跑误差均 <0.5%
• 外推跨度约 300 倍（从小规模 IsoFLOP 最优至前沿算力），验证了配方的可外推性
• 公开释放 checkpoint、训练混合数据与完整配方，为社区缩放研究提供可复现资源
• 发现并修正了 token-horizon 对学习率等超参数的影响，同时引入去掉权重衰减搜索的新优化器
• 通过 Marin Speedrun 社区驱动跟踪训练效率，形成开放排行榜与优化竞赛

• 证据仅涉及缩放定律预测精度，无社区讨论涉及模型实际生成质量、推理吞吐或日常使用体验
• 当前讨论集中在训练效率与损失预测，缺乏下游任务评估（benchmark 表现、人类偏好等）的证据

截至 2026-07-05