数据集 / codeparrot / github-code

codeparrot / github-code

来自GitHub的代码文件，覆盖32种编程语言

HF 源仓库 ↗本站资料更新 2026-07-21

关键规格

作者
codeparrot
规模
669.9 GB
模态
文本
任务
文本生成
授权
other · 许可待核
语种
code
HF 热度5,703,548 下载 · 406 收藏观测于 2026-07-21
源仓库更新2022-10-20

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目资料与外部反馈 · 6 个来源 · 核验于 2026-07-22

该数据集存在已知的重复问题且已有官方清理版本，仓库声明许可证与实际内容权利可能不一致，不建议直接用于新项目而不做额外去重与合规审查。[1][2][4]

适合用来

  • 支持按语言和许可证过滤的流式访问，适合大规模代码语料加载[6]

采用前注意

  • 重复文件严重影响模型性能，官方博客明确指出 duplicates 问题[1]
  • 非去重版本的 HumanEval 基准测试存在泄漏（291–338 条），去重后降至 0[3]
  • 仓库声明的许可证与实际内容权利可能不一致，论文标题直接指出'Do Not Trust Licenses You See'[2]
  • 存在官方清理版本 codeparrot/github-code-clean，移除了 3.39M 文件（占 2.94%）[4]
  • Lance 格式的第三方子集需要写权限，无法在 Kaggle Kernels 上直接使用[5]

本段综合依据

  1. blog/codeparrot.md at main · huggingface/blog · GitHub ↗github.com
  2. Do Not Trust Licenses You See—Dataset Compliance ... ↗asset-nexus.lgresearch.ai
  3. arXiv:2211.15533v1 [cs.CL] 20 Nov 2022 ↗r.jordan.im
  4. codeparrot/github-code-clean · Datasets at Hugging Face ↗huggingface.co
  5. codeparrot_1M ↗kaggle.com
  6. codeparrot/github-code · Datasets at Hugging Face ↗huggingface.co

历史记录

1 次历史卡片 · 2026-07-21