阿里,很强,开源了!

简介: 阿里,很强,开源了!

你好,我是Giant。


昨天浏览Github的时候,无意中发现阿里又有了新动作:开源了最新的自然语言处理框架—PAI-EasyNLP。


我详细整理了这份食用指南,送给热爱算法的读者们。


1. 何谓EasyNLP?



EasyNLP主要帮助Pytorch用户简单高效地实现传统NLU任务,以及使用预训练语言模型、小样本学习、关键词提取、敏感词识别、数据增强等算法。


主要有以下特性:


1)无缝接入huggingface/transformers的模型

2)发挥预训练模型魅力,集成了前沿的知识预训练模型,包括DKPLM和KGBERT等;

3)大模型高效落地,提供小样本学习和知识蒸馏能力,方便用户在很少的样本上训练大模型并取得很好的效果;

4)高度自定义,除了简洁的PAI命令,用户可根据自己的需求进行模型、数据处理、训练、评估、预测自定义。


预览整个框架,EasyNLP可满足多模态、知识蒸馏、小样本学习、NLU、NLG各个任务的需求。



Overview

支持使用pip指令一键安装。


$ pip install pai-easynlp


2.EasyNLP使用实例



简单来说,EasyNLP有两种调用方法,都非常简单。以文本分类为例,第一种可以使用EasyNLP的api快速实现一个基于BERT的分类器。



如果是自己的数据集,使用dataset的api也可以很快导入。数据格式通过“input_schema”指定。



然后运行main.py脚本就开始愉快的训练了!



其次,我们还能通过AppZoo指令更高效地执行任务。ModelZoo已支持BERT、RoBertA、MacBERT、KGBERT等十几种预训练模型。


有多高效?大约是13行代码。



inference的过程也同样简单,更多教程留给大家测试。



相关文章
|
5月前
|
分布式计算 大数据 Hadoop
开源大数据方案有哪些
开源大数据方案有哪些
104 0
|
1月前
|
机器学习/深度学习 Linux 应用服务中间件
开源还是闭源(=°Д°=)!!趋势表明,开源技术在诸多领域中日益受到重视
开源还是闭源(=°Д°=)!!趋势表明,开源技术在诸多领域中日益受到重视
|
1月前
|
机器学习/深度学习 自然语言处理 算法
浅谈开源和闭源的认知
浅谈开源和闭源的认知
|
4月前
|
机器学习/深度学习 人工智能 算法
开源vs闭源大模型如何塑造技术的未来?开源模型的优劣势&未来发展方向
开源vs闭源大模型如何塑造技术的未来?开源模型的优劣势&未来发展方向
478 0
|
4月前
|
消息中间件 存储 缓存
阿里P8架构师带你“一窥”大型网站架构的主要技术挑战和解决方案
传统的企业应用系统主要面对的技术挑战是处理复杂凌乱、千变万化的所谓业务逻辑,而大型网站主要面对的技术挑战是处理超大量的用户访问和海量的数据处理;前者的挑战来自功能性需求,后者的挑战来自非功能性需求;功能性需求也许还有“人月神话”聊以自慰,通过增加人手解决问题,而非功能需求大多是实实在在的技术难题,无论有多少工程师,做不到就是做不到。
|
5月前
|
架构师 Java 开发者
阿里最新丰碑:国内第一本凤凰架构,全面构建可靠大型分布式系统
周志明老师的《深入理解Java虚拟机》想必大家都不陌生,这本书凭借着生动易懂的文风、系统实用的知识点、成为原创计算机图书经典中的经典。周老师凭借一己之力拉高了Java开发者内功水平,把JVM带到了初级面试题环节。
|
7月前
|
架构师 搜索推荐 IDE
架构师13年经验而成的软件平台架构设计与技术管理之道终于曝光了
计算机技术的发展日新月异,市面上软件架构、项目管理、IT技术类书籍层出不穷,从软件专业和技术视角进行阐述的居多,但对技术烂熟于胸,还是无法保证你能成为优秀架构师或驾驭平台的技术负责人。
|
8月前
|
存储 Kubernetes 架构师
干货!阿里「大型分布式技术手册」现已开源
其实当你真正去使用这些不同的架构方法去解决问题,然后在实践中观察它们的优劣,这确实会是一种很好的成长方式,但这是一个漫长的过程,而且没有哪个大厂会花时间让你自己去探索,所以这些经验又要从哪儿来呢? 答案是:前人的经验。既然别人已经总结了一套通过实践得来的经验,那我们为什么不去用呢?将别人的知识学会再变为自己的,才叫厉害。
|
9月前
|
机器学习/深度学习 人工智能 前端开发
优雅码住!ChatGPT的五大开源替代方案
优雅码住!ChatGPT的五大开源替代方案
285 0
|
9月前
|
数据可视化 BI 测试技术
一文吃透低代码平台的衍生历程、优势及未来趋势
一文吃透低代码平台的衍生历程、优势及未来趋势