HuggingFaceFW / fineweb-edu
从网络过滤出的教育类网页文本数据
下载 616k · 收藏 1.1k · 1年前更新
社区实测
社区认可其构建流程的开放透明,脚本与数据均可复现,在同等规模数据集中表现领先
- 提供了大规模高质量教育内容用于LLM预训练(1.3T tokens)
- 公开了完整的构建流程与脚本,解决了预训练数据构建不透明的问题
- 在同等规模数据集中预训练效果更优
来源
FineWeb-Edu: How to Make a Very High-Quality Dataset to Pre-train ...FineWeb: Decanting the web for the finest text data at scale | Hacker News
截至 2026-06-20
- py from datasets import load_dataset ds = load_dataset("HuggingFaceFW/fineweb-edu")