wikimedia / structured-wikipedia
英语和法语维基百科的结构化文章数据
下载 2.5k · 收藏 127 · 2个月前更新
社区实测
Wikipedia 结构化 JSON 数据集解决了原始 Wiki 文本难以直接用于 ML 管线的痛点，但目前仅覆盖英法两种语言，且 CC-BY-SA-4.0 许可对商用有约束。
- Wikipedia 原始数据难以直接用于 ML 管线，该数据集提供结构化 JSON，省去抓取与解析的工程负担
- Databricks 已用其 Structured Contents 端点将数百万维基百科条目批量转为 Markdown，跳过了正则解析层
- 目前仅覆盖英语和法语，其他语言尚未纳入
- 底层内容采用 CC-BY-SA-4.0 许可，衍生使用需以相同许可共享，对商用有约束
- Wikimedia 平台曾因安全事件进入只读状态，数据可用性存在外部依赖风险
来源
Wikipedia data has always been a pain to wrangle for ML pipelinesInstead of scraping or parsing raw article text, Kaggle users can work directly with well-structured JSON representations of Wikipedia contentDatabricks engineers used Wikimedia Enterprise's Structured Contents endpoints and Apache Spark to convert millions of Wikipedia articles to Markdown at scaleCC-BY-SA-4.0 license
截至 2026-06-20
- py from datasets import load_dataset ds = load_dataset("wikimedia/structured-wikipedia")