数据集 / togethercomputer / RedPajama-Data-1T

togethercomputer / RedPajama-Data-1T

LLaMa 数据集的完全开源实现

已被后继数据集取代 · RedPajama-Data-V2 →V2 将规模从 1.2T 扩展到 30T tokens,覆盖 84 个 CommonCrawl 快照,是官方推荐的后续版本

HF 源仓库 ↗本站资料更新 2026-08-22

关键规格

作者
togethercomputer
规模
172.6万行 · 39.5 GB
模态
文本
任务
文本生成
语种
en
HF 热度2,230 下载 · 1,188 收藏观测于 2026-08-22
源仓库更新2024-06-17

采用判断

项目资料与外部反馈 · 2 个来源 · 核验于 2026-06-20

RedPajama-1T是LLaMA训练数据配方的早期开源复现,已被RedPajama-V2取代

采用前注意

  • 原始web数据存在HTML转文本伪影、低质量来源和内容偏差,不宜直接用于LLM训练
  • 已被RedPajama-V2取代,v2提供30T token、40+预计算质量标注和去重,RPv1代码已归档至rp_v1分支

本段综合依据

  1. RedPajama-Data-v2: An open dataset with 30 trillion tokens for training large language models ↗together.ai
  2. GitHub - togethercomputer/RedPajama-Data: The RedPajama-Data repository contains code for preparing large datasets for training large language models. · GitHub ↗github.com

历史记录

7 次历史卡片 · 2026-05-23 至 2026-08-22