跨 35 种语言的人类生成标注助手对话语料

下载 16k · 收藏 1.5k · 3年前更新

众包多语言助手指令对话集，含质量评分与毒性检测

下载 7.0k · 收藏 292 · 2年前更新

• 涵盖35种语言，包含完整对话树结构与角色标记
• 每条消息附带人工质量标签、毒性评分及emoji反馈
• 基于Apache-2.0许可，可直接用于商用模型微调或评测

为什么值得用作为开源社区活跃维护的多语言对齐数据集，适合快速验证模型指令跟随能力及多语言泛化性

• 原始数据未明确提供去重处理，重复或近似消息可能影响评测公平性
• 质量标签（quality）为单一维度的0-1分，无法覆盖更细粒度的意图/风格差异
• 毒性检测基于Detoxify模型输出，非人工校验，可能存在误标或偏见
• 语言分布极不均衡（英语占主体），多语言场景需注意采样偏差

• 训练集仅约12.8万条样本，体量中等，对大规模预训练支撑有限
• 众包标注存在噪声，尤其是低资源语言的质量标签稀疏
• 部分对话为合成数据（synthetic字段标记），需自行过滤或验证

基于84个CommonCrawl快照的百亿级多语言预训练语料，含质量信号与去重ID

下载 6.9k · 收藏 403 · 1年前更新

• 原始规模超过100B文档、100万亿tokens，覆盖5种主要欧洲语言
• 为30B文档提供了40+种预计算质量信号，支持按需过滤与加权
• 附带重复文档ID列表，可构建20B去重子集

为什么值得用作为公开可复现的大规模Web语料基座，配合质量信号可定制训练数据，适合需要灵活过滤与研究的团队

• 去重需自行利用提供的ID进行，HuggingFace加载的版本未做去重
• 数据来源为网络爬虫，存在领域偏差、内容重复及低质页面
• 质量信号虽丰富，但最优过滤规则取决于下游任务，没有通用方案
• 文档来自HTML转换，可能包含导航文本、广告等噪声，需额外清理

• 许可证标注为‘unknown’，使用前需自行评估版权与合规风险
• 原始数据未经清洗，直接用于训练会产生HTML伪影、低质内容等问题
• 完整下载需大量存储空间与带宽（数百TB级）