HuggingFaceFW / fineweb
从CommonCrawl清洗去重的英文网页文本数据集。
下载 970k · 收藏 2.8k · 1年前更新
社区实测
社区认可其开放性与可复现性，所有处理脚本公开，信息详尽
- 提供高质量开源训练数据资源
- 数据处理流程完全透明可复现
- 多语言训练数据基准(FineWeb2)
来源
FineWeb: Decanting the web for the finest text data at scale | Hacker NewsHugging Face Releases FineWeb2: 8TB of Compressed Text Data ...
截至 2026-06-20