HuggingFaceFW / fineweb-edu
经教育质量分类器筛选的网页文本数据集
下载 506k · 收藏 1.1k · 1年前更新
社区实测
社区认可其开放透明(脚本完整公开)与教育子集的高质量,认为技术报告为预训练数据构建提供了宝贵参考
- 预训练数据构建过程不透明:多数大模型厂商不公开数据细节,该数据集完整公开了所有处理脚本
- 大规模高质量开源预训练数据的获取:15万亿token规模且质量超越同类数据集
来源
FineWeb: Decanting the web for the finest text data at scale | Hacker NewsFineWeb-Edu: How to Make a Very High-Quality Dataset to Pre-train ...
截至 2026-06-20
- py from datasets import load_dataset ds = load_dataset("HuggingFaceFW/fineweb-edu")