openai / gsm8k
小学数学应用题，需要多步算术推理。
下载 946k · 收藏 1.3k · 4个月前更新
社区实测
GSM8K 作为小学数学推理评测已高度饱和（最优 97.3%），前沿模型已不再将其作为主要评测指标，但仍有少量区分度。
- 为语言模型提供了高质量、语言多样化的多步算术推理评测基准
- 通过计算注解支持模型使用计算器进行逐步推理
- 基准已高度饱和，前沿模型不再将其纳入主要评测报告
- 最优成绩 97.3% 仍未达到完美，但天花板效应明显
来源
GitHub - openai/grade-school-math · GitHubThe best performance on GSM8K is currently at 0.973, so less than perfect [1]. G... | Hacker News
截至 2026-06-20
- py from datasets import load_dataset ds = load_dataset("openai/gsm8k")