SummFlow 2026-05-24 Hugging Face

roneneldan / TinyStories

由GPT-3.5/4生成的短篇故事，词汇量小。

214.2万行 · 17.3 GB

  • 文本
  • 文本生成
  • cdla-sharing-1.0 · 可商用

下载 89k · 收藏 992 · 1年前更新

社区实测

微软研究院推出的合成短故事数据集，因被用于 Baby LLaMA 2 等小模型实验而在 Hacker News 上引发关注与讨论

  • 为小规模语言模型训练与实验提供可控、低资源需求的合成文本数据
  • 可用于编程竞赛或教学场景中的语言模型相关题目设计
来源

GPT-4里套娃LLaMA 2！OpenAI创始成员周末爆改「羊驼宝宝」 - 搜狐USTC Hackergame 2023 Writeup | Sparktour's BlogGPT-4里套娃LLaMA 2！OpenAI创始成员周末爆改「羊驼宝宝」Microsoft announces ``phi-1'' that hits HumanEval 50.6% exceeding ...

截至 2026-06-20

  • py from datasets import load_dataset ds = load_dataset("roneneldan/TinyStories")

tatsu-lab / alpaca

由OpenAI text-davinci-003生成的指令和演示数据。

5.2万行 · 319 MB

  • 文本
  • 文本生成
  • cc-by-nc-4.0 · 非商用

下载 108k · 收藏 968 · 3年前更新

社区实测

早期开源指令微调标杆，因合成数据质量参差和底层依赖已弃用的标注模型，更适合作为历史参考而非生产首选。

  • 提供了 52K 条 Self-Instruct 生成的指令跟随数据，降低了指令微调研究的复现门槛
  • 配套 AlpacaEval/AlpacaFarm 提供了低成本、可复现的自动化评估方案
  • 合成数据存在指令与回复拼接错误等标注噪声
  • 原始数据生成依赖已弃用的 text-davinci-003，复现需更换自动标注器
  • 基于 LLaMA 衍生，需关注底层模型的许可约束
来源

tatsu-lab/alpaca · Datasets at Hugging FaceGitHub - tatsu-lab/alpaca_farm: A simulation framework for RLHF and alternatives. Develop your RLHF method without collecting human data. · GitHubGitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data. · GitHub

截至 2026-06-20

  • py from datasets import load_dataset ds = load_dataset("tatsu-lab/alpaca")

tiiuae / falcon-refinedweb

从CommonCrawl过滤去重得到的大型英文网页数据集。

9.68亿行 · 1.7 TB

  • 文本
  • 文本生成
  • odc-by · 可商用

下载 22k · 收藏 914 · 3年前更新

社区实测

以 Apache 2.0 许可公开的大规模网页数据集，学术上证明了纯网页数据经过滤去重可超越精选语料，但实际样本质量参差、社区上手门槛高。

  • Apache 2.0 许可，商用友好
  • 证明经严格过滤和去重的纯网页数据训练效果可超越基于 The Pile 等精选语料的模型
  • 公开释放 600B tokens，规模足以支撑大模型预训练和复现
  • 样本中存在大量低质量网页噪音，如博客评论、无效短文本、断句碎片
  • 仅覆盖英语和法语
  • 数据来源为较早的 CommonCrawl 快照（如 2013 年），时效性不足
  • 社区反馈称该数据集是「deep quantum well」，工程处理复杂度高
来源

tiiuae/falcon-refinedweb · Datasets at Hugging FaceAI Model Catalog | Microsoft Foundry Models[2306.01116] The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only"The RefinedWeb Dataset for Falcon LLM: Outperforming Curated ...

截至 2026-06-20

  • py from datasets import load_dataset ds = load_dataset("tiiuae/falcon-refinedweb")