SummFlow 2026-05-23 Hugging Face

togethercomputer / RedPajama-Data-1T

LLaMa数据集的完全开源复现

172.6万行 · 39.5 GB

  • 文本
  • 文本生成

下载 2.2k · 收藏 1.2k · 2年前更新

  • py from datasets import load_dataset ds = load_dataset("togethercomputer/RedPajama-Data-1T")

wikimedia / wikipedia

多语言维基百科清洗后的完整文章

6161.5万行 · 1.4 TB

  • 文本
  • 文本生成
  • 掩码填充
  • cc-by-sa-3.0 · 可商用
  • 含中文

下载 266k · 收藏 1.2k · 2年前更新

  • py from datasets import load_dataset ds = load_dataset("wikimedia/wikipedia")