数据集 / schema-harness / arc-agi-3-schema-traces

schema-harness / arc-agi-3-schema-traces

ARC-AGI-3推理任务的AI模型行为轨迹与事件日志

HF 源仓库 ↗本站资料更新 2026-07-18

关键规格

作者
schema-harness
规模
50 行 · 417 MB
模态
文本
HF 热度0 下载 · 16 收藏观测于 2026-07-18
源仓库更新2026-07-16

采用判断

项目资料与外部反馈 · 2 个来源 · 核验于 2026-07-23

该数据集仅收录 50 条来自 harness 方案的交互轨迹,样本量极小且记录的是日志策略搜索而非原始 ARC-AGI-3 的程序归纳能力,对评估原始 benchmark 的参考价值有限。[1][2]

采用前注意

  • 仅包含 50 条游戏轨迹,样本量极小,难以支撑统计可靠的评估结论。[2]
  • 数据集中记录的是 policy-search-over-logs 的交互日志,而非 ARC-AGI-3 设计的程序归纳(program-induction)能力,二者属于不同的能力维度,直接用该数据集评估原始 benchmark 对应的能力存在偏差。[1]

本段综合依据

  1. r/singularity on Reddit: LLMs do fine on ARC-AGI-3 if they are allowed to search over game logs ↗reddit.com
  2. schema-harness/arc-agi-3-schema-traces · Datasets at Hugging Face ↗huggingface.co

历史记录

1 次历史卡片 · 2026-07-18