数据集 / wikimedia / wikipedia

wikimedia / wikipedia

维基百科清洗后的文章数据集,覆盖所有语言。

作者
wikimedia
规模
6161.5万行 · 1.4 TB
模态
文本
任务
文本生成 / 掩码填充
授权
cc-by-sa-3.0 · 可商用
语种
ab / ace / ady / af / alt / am / ami / an / ang / anp / ar / arc / ary / arz / as / ast / atj / av / avk / awa / ay / az / azb / ba / ban / bar / bbc / bcl / be / bg / bh / bi / bjn / blk / bm / bn / bo / bpy / br / bs / bug / bxr / ca / cbk / cdo / ce / ceb / ch / chr / chy / ckb / co / cr / crh / cs / csb / cu / cv / cy / da / dag / de / dga / din / diq / dsb / dty / dv / dz / ee / el / eml / en / eo / es / et / eu / ext / fa / fat / ff / fi / fj / fo / fon / fr / frp / frr / fur / fy / ga / gag / gan / gcr / gd / gl / glk / gn / gom / gor / got / gpe / gsw / gu / guc / gur / guw / gv / ha / hak / haw / hbs / he / hi / hif / hr / hsb / ht / hu / hy / hyw / ia / id / ie / ig / ik / ilo / inh / io / is / it / iu / ja / jam / jbo / jv / ka / kaa / kab / kbd / kbp / kcg / kg / ki / kk / kl / km / kn / ko / koi / krc / ks / ksh / ku / kv / kw / ky / la / lad / lb / lbe / lez / lfn / lg / li / lij / lld / lmo / ln / lo / lt / ltg / lv / lzh / mad / mai / map / mdf / mg / mhr / mi / min / mk / ml / mn / mni / mnw / mr / mrj / ms / mt / mwl / my / myv / mzn / nah / nan / nap / nds / ne / new / nia / nl / nn / no / nov / nqo / nrf / nso / nv / ny / oc / olo / om / or / os / pa / pag / pam / pap / pcd / pcm / pdc / pfl / pi / pih / pl / pms / pnb / pnt / ps / pt / pwn / qu / rm / rmy / rn / ro / ru / rue / rup / rw / sa / sah / sat / sc / scn / sco / sd / se / sg / sgs / shi / shn / si / sk / skr / sl / sm / smn / sn / so / sq / sr / srn / ss / st / stq / su / sv / sw / szl / szy / ta / tay / tcy / te / tet / tg / th / ti / tk / tl / tly / tn / to / tpi / tr / trv / ts / tt / tum / tw / ty / tyv / udm / ug / uk / ur / uz / ve / vec / vep / vi / vls / vo / vro / wa / war / wo / wuu / xal / xh / xmf / yi / yo / yue / za / zea / zgh / zh / zu
中文
含中文
下载
196,800
收藏
1,266

社区实测

Wikipedia 被社区视为不可或缺的公共知识基础设施,界面干净无广告追踪,但面临 AI 摘要导致的流量下滑和偶发的安全事件挑战。

  • 提供无广告、无追踪、无恶意软件的干净信息获取体验
  • 作为免费公共知识资源向所有人开放
  • 曾因恶意用户脚本导致全站只读锁定,存在账户安全与自动化恶意编辑风险
  • AI 搜索摘要正在减少 Wikipedia 的直接访问流量

截至 2026-06-20

  • pyfrom datasets import load_dataset ds = load_dataset("wikimedia/wikipedia")

观测时间线