魔搭中文开源模型社区:模型即服务-大模型驱动的自然语言开放生态(上)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 魔搭中文开源模型社区:模型即服务-

 

作者:黄非阿里巴巴达摩院语言技术实验室研究员

 

一、 层次化预训练模型底座

 

image.png

 

在8月份,阿里巴巴发布了通义预训练模型体系,包括NLP、CV和多模态等模型。在自然语言处理方面,通义Alice Mind预训练模型的底座包括语言理解、生成多语言、多模态等模型。除此之外,通义Alice Mind还有业界广泛应用的模型,比如BERT、GPT、DeBERTa、RoBERTa等等。

 

在此基础上,ModelScope社区针对自然语言,为下游任务提供了文本分类、智能对话翻译、文本纠错等模型。ModelScope社区针对不同行业,丰富了相应的行业模型,方便开发者使用。

 

ModelScope社区通过建立一站式的服务平台,包括模型部署、推理、上线服务,数据集、丰富文档等等,尽可能的方便开发者使用达摩院和其他合作版提供的最先进的模型能力。

 

image.png

 

阿里巴巴自然语言处理的预训练模型Alice Mind,为大家提供了多样模型。其中,通用预训练模型StructBERT,在中文理解CLUE Benchmark榜单上,总榜/分类/阅读理解三榜第一,入选“1o Leading Language Models For NLP In 2021"。

 

与此同时,生成式预训练模型PALM,支持条件式生成模型,在MS MARCO榜单上排名第一。相比中文SOTA,PALM的四个生成任务数据集平均提升1.1个点。

 

超大中文预训练模型PLUG,是首个统一自然语言理解和生成能力的超大中文文本预训练模型(270亿和2万亿参数)。目前,已初步建成PLUG大模型完整服务链路,大模型推理加速10+倍。

 

基于PLUG的多模态预训练模型mPLUG,支持端到端多模态预训练模型,在VQA

Challenge 2021中排名第一,并首次超越人类结果,被MIT Technology Review中国列为核心技术突破。

 

image.png

 

与此同时,阿里云提供的多模态的预训练模型底座mPLUG,充分利用了阿里云的计算环境。mPLUG可以针对于下游任务开发,简单进行一些翻译任务,代码商城、作文写作、百科问答、诗词对联等等。

 

 


相关文章
|
25天前
|
自然语言处理 PyTorch 算法框架/工具
掌握从零到一的进阶攻略:让你轻松成为BERT微调高手——详解模型微调全流程,含实战代码与最佳实践秘籍,助你应对各类NLP挑战!
【10月更文挑战第1天】随着深度学习技术的进步,预训练模型已成为自然语言处理(NLP)领域的常见实践。这些模型通过大规模数据集训练获得通用语言表示,但需进一步微调以适应特定任务。本文通过简化流程和示例代码,介绍了如何选择预训练模型(如BERT),并利用Python库(如Transformers和PyTorch)进行微调。文章详细说明了数据准备、模型初始化、损失函数定义及训练循环等关键步骤,并提供了评估模型性能的方法。希望本文能帮助读者更好地理解和实现模型微调。
53 2
掌握从零到一的进阶攻略:让你轻松成为BERT微调高手——详解模型微调全流程,含实战代码与最佳实践秘籍,助你应对各类NLP挑战!
|
19天前
|
机器学习/深度学习 自然语言处理 并行计算
探索深度学习中的Transformer模型及其在自然语言处理中的应用
【10月更文挑战第6天】探索深度学习中的Transformer模型及其在自然语言处理中的应用
56 0
|
24天前
|
机器学习/深度学习 自然语言处理 异构计算
【NLP自然语言处理】初识深度学习模型Transformer
【NLP自然语言处理】初识深度学习模型Transformer
|
24天前
|
机器学习/深度学习 自然语言处理 算法
【NPL自然语言处理】带你迅速了解传统RNN模型
【NPL自然语言处理】带你迅速了解传统RNN模型
|
3月前
|
机器学习/深度学习 自然语言处理 PyTorch
PyTorch与Hugging Face Transformers:快速构建先进的NLP模型
【8月更文第27天】随着自然语言处理(NLP)技术的快速发展,深度学习模型已经成为了构建高质量NLP应用程序的关键。PyTorch 作为一种强大的深度学习框架,提供了灵活的 API 和高效的性能,非常适合于构建复杂的 NLP 模型。Hugging Face Transformers 库则是目前最流行的预训练模型库之一,它为 PyTorch 提供了大量的预训练模型和工具,极大地简化了模型训练和部署的过程。
138 2
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】探讨最新的深度学习算法、模型创新以及在图像识别、自然语言处理等领域的应用进展
深度学习作为人工智能领域的重要分支,近年来在算法、模型以及应用领域都取得了显著的进展。以下将探讨最新的深度学习算法与模型创新,以及它们在图像识别、自然语言处理(NLP)等领域的应用进展。
115 6
|
3月前
|
机器学习/深度学习 自然语言处理 数据处理
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习在自然语言处理中的应用与挑战
本文探讨了深度学习技术在自然语言处理(NLP)领域的应用,包括机器翻译、情感分析和文本生成等方面。同时,讨论了数据质量、模型复杂性和伦理问题等挑战,并提出了未来的研究方向和解决方案。通过综合分析,本文旨在为NLP领域的研究人员和从业者提供有价值的参考。
|
17天前
|
自然语言处理 算法 Python
自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
【10月更文挑战第9天】自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
37 4

相关产品

  • 自然语言处理