阿里,很强,开源了!

简介: 阿里,很强,开源了!

你好,我是Giant。


昨天浏览Github的时候,无意中发现阿里又有了新动作:开源了最新的自然语言处理框架—PAI-EasyNLP。


我详细整理了这份食用指南,送给热爱算法的读者们。


1. 何谓EasyNLP?



EasyNLP主要帮助Pytorch用户简单高效地实现传统NLU任务,以及使用预训练语言模型、小样本学习、关键词提取、敏感词识别、数据增强等算法。


主要有以下特性:


1)无缝接入huggingface/transformers的模型

2)发挥预训练模型魅力,集成了前沿的知识预训练模型,包括DKPLM和KGBERT等;

3)大模型高效落地,提供小样本学习和知识蒸馏能力,方便用户在很少的样本上训练大模型并取得很好的效果;

4)高度自定义,除了简洁的PAI命令,用户可根据自己的需求进行模型、数据处理、训练、评估、预测自定义。


预览整个框架,EasyNLP可满足多模态、知识蒸馏、小样本学习、NLU、NLG各个任务的需求。



Overview

支持使用pip指令一键安装。


$ pip install pai-easynlp


2.EasyNLP使用实例



简单来说,EasyNLP有两种调用方法,都非常简单。以文本分类为例,第一种可以使用EasyNLP的api快速实现一个基于BERT的分类器。



如果是自己的数据集,使用dataset的api也可以很快导入。数据格式通过“input_schema”指定。



然后运行main.py脚本就开始愉快的训练了!



其次,我们还能通过AppZoo指令更高效地执行任务。ModelZoo已支持BERT、RoBertA、MacBERT、KGBERT等十几种预训练模型。


有多高效?大约是13行代码。



inference的过程也同样简单,更多教程留给大家测试。



相关文章
|
3月前
|
人工智能 搜索推荐 UED
还没排上SearchGPT?比Perplexity更好用的国产开源平替了解一下?
【8月更文挑战第24天】近日发布的一项研究成果提出了一种革新性的信息检索系统——MindSearch,该系统通过模仿人脑思维方式,有效解决了传统信息检索方法面对复杂查询时的不足。MindSearch利用多代理框架,将用户查询拆解成子问题逐步扩展查询图谱,实现复杂查询的精准定位;通过多层次信息检索,整合不同网页中的相关数据,提高信息提取的准确率;并且能高效处理大规模网页,3分钟内即可检索300多个网页。实验显示,MindSearch不仅提升了响应的深度与广度,还在封闭及开放式问答中表现出色,更符合用户的偏好。不过,MindSearch仍面临查询意图理解、噪音处理及可扩展性等方面的挑战。
42 4
|
3月前
|
机器学习/深度学习 编译器 PyTorch
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
|
6月前
|
机器学习/深度学习 Linux 应用服务中间件
开源还是闭源(=°Д°=)!!趋势表明,开源技术在诸多领域中日益受到重视
开源还是闭源(=°Д°=)!!趋势表明,开源技术在诸多领域中日益受到重视
|
6月前
|
机器学习/深度学习 自然语言处理 算法
浅谈开源和闭源的认知
浅谈开源和闭源的认知
|
6月前
|
人工智能 自然语言处理 数据可视化
书生·浦语 2.0 开源!回归语言建模本质,综合性能领先开源社区,魔搭最佳实践来啦!
1月17日,上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语2.0(InternLM2),模型开源可商用,魔搭社区作为首发平台,支持大家第一时间下载体验。
|
缓存 算法 网络协议
盘点腾讯后台开发各级工程师(T1-T9)需要具备哪些能力
盘点腾讯后台开发各级工程师(T1-T9)需要具备哪些能力
盘点腾讯后台开发各级工程师(T1-T9)需要具备哪些能力
|
存储 分布式计算 架构师
阿里架构师十年开发总结的《分布式系统开发学习笔记》太强了
分布式系统 分布式系统是将多台小型微型机互连组成的一种新型计算机系统。它冲破了传统的集中式单机局面,从分散处理的概念出发来组织计算机系统,具有较高的性能价格比,灵活的系统可扩充性, 良好的实时性、可靠性与容错性等潜在优点,是近几年来计算机科学技术领域中极受重视的新型计算机系统,现已成为迅速发展的一个新方向。
|
机器学习/深度学习 人工智能 前端开发
优雅码住!ChatGPT的五大开源替代方案
优雅码住!ChatGPT的五大开源替代方案
451 0
|
存储 Kubernetes 架构师
干货!阿里「大型分布式技术手册」现已开源
其实当你真正去使用这些不同的架构方法去解决问题,然后在实践中观察它们的优劣,这确实会是一种很好的成长方式,但这是一个漫长的过程,而且没有哪个大厂会花时间让你自己去探索,所以这些经验又要从哪儿来呢? 答案是:前人的经验。既然别人已经总结了一套通过实践得来的经验,那我们为什么不去用呢?将别人的知识学会再变为自己的,才叫厉害。
业界新标杆!阿里开源自研高并发编程核心笔记(2023最新版)
提到并发编程很多人就会头疼了;首先就是一些基础概念:并发,并行,同步,异步,临界区,阻塞,非阻塞还有各种锁全都砸你脸上,随之而来的就是要保证程序运行时关键数据在多线程中的可见性、核心业务的原子性、多线程通信的有序性。虽然很多人工作可能接触不到这些的东西,但是面试就是得问。假如你跟一个有过高并发编程经验的人一起面试同一个岗位,你就是背了些面试题,而人家是确确实实有真东西的,那后续的录用结果想必就不用我多说了吧~