codeparrot / github-code-clean
---
关键规格
HF 热度190,095 下载 · 142 收藏观测于 2026-07-23
源仓库更新2022-07-05
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
采用判断
项目资料与外部反馈 · 6 个来源 · 核验于 2026-07-22
该数据集来源于 GitHub 公开仓库的代码抓取，许可证与版权状态复杂且不可轻信，原始去重不彻底且仅去除了 2.94% 文件，加之数据量达 1TB 需依赖流式访问，采用前需重点评估合规与工程成本。[2][5][6]
适合用来
- 可用于代码生成模型的预训练，已有 granite-3b-code-base-2k、codeparrot-small-multi 等模型基于此数据集训练或微调。[5]
采用前注意
- 该数据集仓库级缺乏 LICENSE 文件，讨论区有用户明确请求添加。[1]
- 论文《Do Not Trust Licenses You See》指出数据集层面的许可证元数据与文件中实际代码许可可能不一致，单纯依赖数据集标注的 license 字段不可靠。[2]
- 数据集中包含 Apache 2.0、GPL v3.0+、BSD-3-Clause 等多种互不兼容的许可证，直接使用可能面临版权合规风险。[3]
- 原始 CodeParrot 训练实验发现重复代码严重损害模型性能；github-code-clean 仅去除了 2.94% 的文件，残余重复仍可能影响下游任务。[4][5]
- 数据集总大小约 1TB，官方文档明确建议大多数场景使用流式 API，全量加载对存储和内存要求极高。[6]
本段综合依据
- codeparrot/github-code-clean · Discussions ↗huggingface.co
- Do Not Trust Licenses You See—Dataset Compliance ... ↗asset-nexus.lgresearch.ai
- codeparrot/codeparrot-clean · Datasets at Hugging Face ↗huggingface.co
- blog/codeparrot.md at main · huggingface/blog ↗github.com
- codeparrot/github-code-clean · Datasets at Hugging Face ↗huggingface.co
- codeparrot/github-code · Datasets at Hugging Face ↗huggingface.co