openai / gsm8k
小学数学应用题，需多步算术推理。
社区实测
GSM8K 是多步算术推理评测的事实标准之一，被主流实验室广泛采用，但原始的结果导向评分方式对推理过程质量的区分度有限。
- 提供 2-8 步算术推理的标准化评测基准，被 Google PaLM、Chain of Thought 等研究采用
- 自由形式数值答案 + 精确匹配评分，便于跨模型和跨提示策略的误差诊断与对比
- 支持思维链和工具辅助数学能力的评测
- 原始评测以最终答案正确与否为准，可能忽略推理过程的质量差异
- 模型在纯推理场景下算术准确性不足，需借助计算器注入才能稳定完成计算
来源
GitHub - openai/grade-school-mathHow Surge AI Built OpenAI's GSM8K Dataset of 8,500 Math ProblemsGSM8K - Epoch AIMR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation
截至 2026-06-20
- pyfrom datasets import load_dataset ds = load_dataset("openai/gsm8k")