数据集 / tiiuae / falcon-refinedweb

tiiuae / falcon-refinedweb

从 CommonCrawl 过滤去重构建的英文网页数据集

HF 源仓库 ↗本站资料更新 2026-08-22

关键规格

作者
tiiuae
规模
9.68亿行 · 1.7 TB
模态
文本
任务
文本生成
授权
odc-by · 许可标注允许商用
语种
en
HF 热度91,741 下载 · 949 收藏观测于 2026-08-22
源仓库更新2023-06-20

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目资料与外部反馈 · 5 个来源 · 核验于 2026-07-23

该数据集适用于大规模英文网络文本预训练，但仅限英文、去重策略透明度不足，且项目学术产出停滞使其长期可靠性存疑[1][3]

适合用来

  • 大规模英文网络文本预训练与微调[1]
  • CommonCrawl 数据的高质量过滤与去重基准

采用前注意

  • 该数据集为纯英文网络数据集，不适用于多语言训练场景[1]
  • 社区对去重策略、时间元数据和内容分类存在疑问，数据集文档在这些方面不够透明[3]
  • 项目未发布完整模型论文，仅发布了数据集描述论文，后续学术产出和更新停滞
  • 数据集页面显示的 Apache-2.0 许可与 README 中声明的 ODC-By 1.0 许可不一致，实际使用前需确认许可版本

本段综合依据

  1. README.md · tiiuae/falcon-refinedweb at main ↗huggingface.co
  2. tiiuae/falcon-refinedweb · Datasets at Hugging Face ↗huggingface.co
  3. tiiuae/falcon-refinedweb · Questions on Deduplication Strategy, Temporal Metadata, and Document Types ↗huggingface.co
  4. r/LocalLLaMA on Reddit: Falcon180B: authors open source a new 180B version! ↗reddit.com
  5. tiiuae/falcon-40b · Update license ↗huggingface.co

历史记录

7 次历史卡片 · 2026-05-24 至 2026-08-22