数据集 / 归档 / 2026-06-20

2026-06-20 数据集 (2)

perplexity-ai / draco

跨10个领域、覆盖40个国家信息源的深度研究系统评估基准

100 行 · 404 KB

  • 文本
  • mit · 可商用

下载 2.0k · 收藏 109 · 5个月前更新

  • py from datasets import load_dataset ds = load_dataset("perplexity-ai/draco")

openai / gsm8k

小学数学应用题，需要多步推理和基本算术运算

1.8万行 · 12 MB

  • 文本
  • 文本生成
  • mit · 可商用

下载 889k · 收藏 1.4k · 4个月前更新

社区实测

GSM8K 是多步算术推理评测的事实标准之一，被主流实验室广泛采用，但原始的结果导向评分方式对推理过程质量的区分度有限。

  • 提供 2-8 步算术推理的标准化评测基准，被 Google PaLM、Chain of Thought 等研究采用
  • 自由形式数值答案 + 精确匹配评分，便于跨模型和跨提示策略的误差诊断与对比
  • 支持思维链和工具辅助数学能力的评测
  • 原始评测以最终答案正确与否为准，可能忽略推理过程的质量差异
  • 模型在纯推理场景下算术准确性不足，需借助计算器注入才能稳定完成计算
来源

GitHub - openai/grade-school-mathHow Surge AI Built OpenAI's GSM8K Dataset of 8,500 Math ProblemsGSM8K - Epoch AIMR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation

截至 2026-06-20

  • py from datasets import load_dataset ds = load_dataset("openai/gsm8k")

← 前一日 2026-06-19 · 后一日 2026-06-21 →