数据集 / wikimedia / structured-wikipedia

wikimedia / structured-wikipedia

英语和法语维基百科文章的结构化解析数据

作者
wikimedia
规模
1046.9万行 · 74.3 GB
模态
文本
授权
cc-by-sa-4.0 · 可商用
语种
en / fr
下载
10,836
收藏
305

社区实测

Hugging Face 上由 Wikimedia 官方维护的结构化 Wikipedia 快照,提供解析好的信息框、章节和 Wikidata 实体链接,省去 wikitext 解析,适合离线分析与社区复用,但需注意 CC-BY-SA-4.0 的衍生合规要求。

  • 无需自行解析 wikitext,直接获取结构化 Wikipedia 内容(信息框、章节、Wikidata 实体链接),跳过正则解析层
  • 提供定期刷新的 Wikipedia 快照,支持社区复用与大规模离线分析
  • CC-BY-SA-4.0 许可证要求署名和相同方式共享,衍生数据集或商用场景需评估合规风险
  • Wikimedia 基础设施偶发安全事件(如恶意脚本导致全站只读)可能造成数据更新中断

截至 2026-06-20

  • pyfrom datasets import load_dataset ds = load_dataset("wikimedia/structured-wikipedia")

观测时间线