魔哈镜像迄今最大合成数据集 Cosmopedia

简介: Cosmopedia 是一个由Mixtral-8x7B-Instruct-v0.1生成的合成教科书、博文、故事、帖子和WikiHow文章的数据集。该数据集包含超过3000万个文件和250亿个tokens,是HuggingFace用了10k张H100生成的迄今为止最大的开放合成数据集。

Cosmopedia

Cosmopedia 是一个由Mixtral-8x7B-Instruct-v0.1生成的合成教科书、博文、故事、帖子和WikiHow文章的数据集。该数据集包含超过3000万个文件和250亿个tokens,是HuggingFace用了10k张H100生成的迄今为止最大的开放合成数据集。受 Phi1.5 工作的启发,Cosmopedia 的初始版本为合成数据领域的研究奠定了基础。它作为不同主题的综合资源,强调其在后续迭代中进一步增强的潜力。

Cosmopedia分为八个部分,每个部分都源自不同的种子样本。这些分割包括 web_samples_v1 和 web_samples_v2,约占数据集的 75%,源自类似于 RefinedWeb 的内部 Web 数据集。斯坦福分部利用了来自 stanford.edu 的课程大纲,而故事分部则采用了 UltraChat 和 OpenHermes2.5 生成的叙述。此外,WikiHow、OpenStax、KhanAcademy 和 automathtext 拆分涉及与其各自来源相关的提示。

Dataset splits

Prompts都基于使用种子样本(例如网页摘录)的概念,并要求模型生成与该种子样本相关的新内容(教科书、故事、博客文章)。数据集由8个拆分组成,具体取决于拆分中使用的种子数据的来源。下图显示了Cosmopedia中种子数据集、世代格式和受众的分布:
image.png

除了去污染外,Cosmopedia将解释网络样本的主题聚类方法以及我们完善提示的迭代过程。主题聚类 我们的目标是以教科书等更干净的格式生成大量合成数据,涵盖广泛的主题(本质上,在网络上发现的任何有用的东西)

如何在魔哈上使用Cosmopedia

首先魔哈仓库已经完全同步了Cosmopedia数据集,并会在每天早上定期从 HuggingFace上更新最新版本的数据集
image.png

目前有两种方式可以通过魔哈·Moha仓库来加速您下载Cosmopedia数据集

设置魔哈官方地址直接下载数据集

export HF_ENDPOINT=https://moha.xiaoshiai.cn/huggingface

使用Moha专属CDN加速从HuggingFace上下载数据集
image.png

联系我们

关注"晓石AI" 咨询更多问题

目录
相关文章
|
人工智能 测试技术 开发者
最强开源背景去除模型​RMBG v1.4
RMBG v1.4是briaai公司最先进的背景去除模型,它可以将一系列类别和图像类型中有效地将前景与背景切分
2163 0
最强开源背景去除模型​RMBG v1.4
|
1月前
|
人工智能 安全 API
MCP 是 API 的下一层?先搞清楚它到底解决什么问题
MCP 是 API 的下一层吗?本文讲清 MCP 解决的 N×M 集成问题、与 API 的本质区别、适用场景和当前已知风险,给 API 服务商一个冷静的接入建议。
390 1
|
9月前
|
存储 供应链 数据可视化
大模型应用:面向结构化表格的 RAG 实践:技术架构与特性解析.26
本文提出面向结构化表格的RAG新模式,突破传统RAG将表格转为纯文本导致语义丢失、多表融合低效、版本兼容性差等瓶颈。通过结构化解析、元数据增强、向量索引优化与精细化检索,实现行列语义保留、跨表关联查询及本地轻量化部署,显著提升财务、政务等场景下Excel/CSV数据的检索精度与问答质量。
936 15
|
域名解析 网络协议 Linux
|
算法 Shell Linux
【Shell 命令集合 磁盘维护 】Linux 检查和修复文件系统错误 fsck命令使用教程
【Shell 命令集合 磁盘维护 】Linux 检查和修复文件系统错误 fsck命令使用教程
791 0
|
10月前
|
弹性计算 应用服务中间件 数据库
2026年阿里云服务器部署WordPress指南:轻量应用与ECS云服务器手动部署方案
在云服务器上搭建WordPress网站是个人开发者、学生及小型团队实现项目上线的常用需求。2026年阿里云提供两种主流部署方式:轻量应用服务器“开箱即用”方案,适合追求高效、无需深入运维的用户;ECS手动部署LNMP环境方案,适合需要自主管理环境、灵活配置的场景。本文将详细拆解两种方案的完整流程,确保不改变原意且无营销表述,帮助用户根据自身需求选择合适的部署路径。
830 0
2026年阿里云服务器部署WordPress指南:轻量应用与ECS云服务器手动部署方案
|
3月前
|
人工智能 自然语言处理 Serverless
Qwen3.5-LiveTranslate-Flash模型解析:视觉增强同传功能、定价标准、百万免费 Token 领取教程
Qwen3.5-LiveTranslate-Flash是阿里云百炼推出的实时同传大模型,支持60语种输入、29语种音文输出,端到端延迟仅2.8秒;具备动态音色克隆、视觉增强消歧、千级热词注入能力,适用于跨境直播、国际会议等高实时性场景。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
1492 9
Apache Flink:从实时数据分析到实时AI
|
8月前
|
存储 安全 编译器
嵌入式软件可靠性:从代码细节到系统化设计的工程实践
本文系统阐述高可靠嵌入式软件设计方法,涵盖编译器可信性、冗余容错、软硬协同、存储保护、人机安全交互、功能安全(ISO 26262/IEC 61508)、DFMEA分析及可维护性评价七大维度,强调可靠性源于全流程工程实践与习惯养成。(239字)
520 1
|
8月前
|
人工智能 算法 API
CAD二次开发的外包流程
国内CAD二次开发正加速迈向AI驱动的生成式设计时代。本文详解AutoCAD/中望/浩辰等平台的技术选型(C++/C#/API)、标准化外包流程、AI集成(生成设计、图纸识别)、Web CAD新趋势及费用周期参考,助力企业高效实现国产替代与智能升级。(239字)

热门文章

最新文章