6 月 1 日，第三届北京智源大会正式开幕。在大会开幕式上，智源研究院重磅发布了全球最大的超大规模智能模型「悟道 2.0」。
「悟道 2.0」模型的参数规模达到 1.75 万亿，是 GPT-3 的 10 倍，打破了之前由谷歌 Switch Transformer 预训练模型创造的 1.6 万亿参数记录，是目前中国首个、全球最大的万亿级模型。
从 1.0 到 2.0，「悟道」探索通用人工智能
今年 3 月 20 日，智源研究院发布了超大规模智能模型「悟道 1.0」，训练出中文、多模态、认知、蛋白质预测等系列模型。智源研究院院长黄铁军教授在介绍「悟道」模型研发初衷时表示，近年来人工智能的发展已经从「大炼模型」逐步迈向了「炼大模型」的阶段，通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用，这是必然趋势。
而昨日发布的「悟道 2.0」正是对「炼大模型」的又一次成功探索。
从 15 亿参数的 GPT-2、1750 亿参数的 GPT-3，到 1.6 万亿参数的 Switch Transformer，深度学习模型积极拥抱暴力美学，然而这些模型并非以中文为核心。拥有 1.75 万亿参数的悟道 2.0，做到的不只是参数量的突破，它也是首个万亿级中文预训练模型。智源研究院理事长张宏江认为，目前「大模型 + 大算力」是迈向通用人工智能的一条可行路径。
智源研究院学术副院长唐杰教授表示，「悟道」旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。「悟道」团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有从预训练理论技术到预训练工具，再到预训练模型构建和最终模型测评的完整链条，从技术上是完整成熟的。通过一系列原始创新和技术突破，本次发布的「悟道 2.0」实现了「大而聪明」，具备大规模、高精度、高效率的特点。
悟道 2.0：「大而聪明」
悟道 2.0 的参数规模达到破记录的 1.75 万亿。据介绍，新一代 FastMoE 技术是悟道 2.0 实现「万亿模型」基石的关键。
以往，由于 Google 万亿模型的核⼼技术 MoE（Mixture of Experts）与其分布式训练框架和其定制硬件强绑定，绝大多数人无法得到使用与研究的机会。「悟道」团队研究并开源的 FastMoE 技术是首个支持 PyTorch 框架的 MoE 系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代 FastMoE 支持 Switch、GShard 等复杂均衡策略，支持不同专家不同模型，为万亿模型实现方案补上了最后⼀块短板。
FastMoE 数据并行模式，每个 worker 放置多个 experts，worker 之间数据并行。top-2 gate 指的是门网络会选择激活分数最高的 2 个专家网络。（https://hub.baai.ac.cn/view/6...
唐杰表示：「除了参数规模之外，悟道 2.0 还可以同时支撑更多的应用，实现更加通用的智能。另外，我们首次在 100% 的国产超算平台上训练了万亿模型。」悟道 2.0 模型一统文本与视觉两大阵地，支撑更多任务，更加通用化。
在数据方面，「悟道 2.0」模型基于中英双语共 4.9T 的高质量大规模清洗数据进行训练。训练数据包含 WuDaoCorpora 的 1.2TB 中文文本数据、2.5TB 中文图文数据，以及 Pile 数据集的 1.2TB 英文文本数据。
那么，「悟道 2.0」模型究竟能力如何呢？智源研究院公布了其在世界公认的 9 项 Benchmark 基准测试任务上的成绩。
- ImageNet zero-shot SOTA 超过 OpenAI CLIP；
- LAMA 知识探测：超过 AutoPrompt；
- LAMABADA 完形填空：能力超过微软 Turing NLG；
- SuperGLUE few-shot FewGLUE：超越 GPT-3，取得当前最佳少样本学习结果；
- UC Merced Land-Use zero-shot SOTA，超过 OpenAI CLIP；
- MS COCO 文生成图：超越 OpenAI 的 DALL·E；
- MS COCO 英文图文检索：超过 OpenAI CLIP 和 Google ALIGN；
- MS COCO 多语言图文检索：超过目前最好的多语言多模态预训练模型 UC2,M3P；
- Multi 30K 多语言图文检索：超过目前最好的多语言多模态预训练模型 UC2,M3P。
「悟道 2.0」的高精度来自于一系列核心技术创新。例如：
- GLM2.0：模型架构创新的典范，更通用的预训练模型。此前，它首次打破 BERT 和 GPT 壁垒，开创性地以单一模型兼容所有主流架构，新一代版本更是以少胜多的高性能人工智能典范，以 100 亿参数量，足以匹敌微软 170 亿参数的 Turing-NLG 模型，取得多项任务的更优成绩。
- P-tuning2.0 算法：极大地拉近少样本学习和全监督学习的差距，少样本学习能力遥遥领先。
- CogView：文本生成图像的新框架，克服「上下溢收敛」文图模型关键难题，将 VQ-VAE 和 Transformer 进行结合，表现 SOTA（当前算法性能最优的模型）！在 MS COCO FID 指标上性能优于 DALL·E 等模型。模型可直接实现类似 OpenAI CLIP 模型的自评分功能，生成国画、油画、卡通画、轮廓画等多元画风。
此外，在「悟道」模型研发过程中，智源研究院建设了全球最大的语料数据库 WuDaoCorpora2.0，包含全球最大的中文文本数据集 (3TB)、全球最大的多模态数据集 (90TB)、全球最大的对话数据集 (181G)，为行业内大规模智能模型的研发提供了丰富的数据支撑。 
除了悟道 2.0 模型的发布，这场 AI 盛会邀请到 200 余位国内外人工智能领域的顶尖专家，围绕人工智能领域的前沿研究进展及趋势开展深入研讨。大会围绕国际人工智能学术前沿和产业热点设置了「预训练模型」「机器学习」「群体智能」「人工智能的数理基础」「智能体系架构与芯片」「精准智能」「智能信息检索与挖掘」「青源学术年会」「AI创业」「AI制药」「AI系统」「AI开放与共享」「AI科技女性」等29个专题论坛。
在 6 月 1 日的开幕式上，图灵奖得主 Yoshua Bengio、清华大学国家金融研究院院长朱民博士，北京大学鄂维南院士分别围绕逻辑分析系统 System2、数据资产、科学与智能做了精彩的主旨报告。
</div>
