SummFlow 2026-06-22 Hugging Face

HuggingFaceFW / fineweb-edu

教育过滤的网页文本数据集，基于FineWeb

34.97亿行 · 6.2 TB

  • 多模态
  • 文本生成
  • odc-by · 可商用

下载 418k · 收藏 1.2k · 1年前更新

  • py from datasets import load_dataset ds = load_dataset("HuggingFaceFW/fineweb-edu")

togethercomputer / RedPajama-Data-1T

开源复现的LLaMa训练数据集

172.6万行 · 39.5 GB

  • 文本
  • 文本生成

下载 2.3k · 收藏 1.2k · 2年前更新

  • py from datasets import load_dataset ds = load_dataset("togethercomputer/RedPajama-Data-1T")

wikimedia / wikipedia

多语言维基百科文章清理版，每篇为一个样本

6161.5万行 · 1.4 TB

  • 文本
  • 文本生成
  • 掩码填充
  • cc-by-sa-3.0 · 可商用
  • 含中文

下载 155k · 收藏 1.3k · 2年前更新

  • py from datasets import load_dataset ds = load_dataset("wikimedia/wikipedia")