阿里,很强,开源了!

简介: 阿里,很强,开源了!

你好,我是Giant。


昨天浏览Github的时候,无意中发现阿里又有了新动作:开源了最新的自然语言处理框架—PAI-EasyNLP。


我详细整理了这份食用指南,送给热爱算法的读者们。


1. 何谓EasyNLP?



EasyNLP主要帮助Pytorch用户简单高效地实现传统NLU任务,以及使用预训练语言模型、小样本学习、关键词提取、敏感词识别、数据增强等算法。


主要有以下特性:


1)无缝接入huggingface/transformers的模型

2)发挥预训练模型魅力,集成了前沿的知识预训练模型,包括DKPLM和KGBERT等;

3)大模型高效落地,提供小样本学习和知识蒸馏能力,方便用户在很少的样本上训练大模型并取得很好的效果;

4)高度自定义,除了简洁的PAI命令,用户可根据自己的需求进行模型、数据处理、训练、评估、预测自定义。


预览整个框架,EasyNLP可满足多模态、知识蒸馏、小样本学习、NLU、NLG各个任务的需求。



Overview

支持使用pip指令一键安装。


$ pip install pai-easynlp


2.EasyNLP使用实例



简单来说,EasyNLP有两种调用方法,都非常简单。以文本分类为例,第一种可以使用EasyNLP的api快速实现一个基于BERT的分类器。



如果是自己的数据集,使用dataset的api也可以很快导入。数据格式通过“input_schema”指定。



然后运行main.py脚本就开始愉快的训练了!



其次,我们还能通过AppZoo指令更高效地执行任务。ModelZoo已支持BERT、RoBertA、MacBERT、KGBERT等十几种预训练模型。


有多高效?大约是13行代码。



inference的过程也同样简单,更多教程留给大家测试。



相关文章
|
负载均衡 安全 应用服务中间件
什么是正向代理和反向代理
正向代理是客户端与服务端之间的中介,用于访问受限资源,如V/P/N和动态IP代理,同时可隐藏客户端IP。反向代理则接收客户端请求并转发给后端服务器集群,隐藏真实服务器信息,常用于堡垒机和负载均衡,如nginx。正向代理焦点在客户端,反向代理关注服务端。
|
SQL 存储 前端开发
< 今日份知识点:web常见的攻击方式(网络攻击)有哪些?如何预防?如何防御呢 ? >
网络安全威胁日益严重,2017年的永恒之蓝勒索病毒事件揭示了网络攻击的破坏力。为了防御Web攻击,了解攻击类型至关重要。Web攻击包括XSS、CSRF和SQL注入等,其中XSS分为存储型、反射型和DOM型,允许攻击者通过注入恶意代码窃取用户信息。防止XSS攻击的方法包括输入验证、内容转义和避免浏览器执行恶意代码。CSRF攻击则伪装成用户执行操作,防范措施包括同源策略和CSRF Token验证。SQL注入则通过恶意SQL语句获取数据,预防手段包括输入验证和使用预编译语句。面对网络威胁,加强安全意识和实施防御策略是必要的。
532 0
|
11月前
|
监控 JavaScript 前端开发
前端的混合之路Meteor篇(六):发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统
本文介绍了 Meteor 3.0 中的发布-订阅模型,详细讲解了如何在服务器端通过 `Meteor.publish` 发布数据,包括简单发布和自定义发布。客户端则通过 `Meteor.subscribe` 订阅数据,并使用 MiniMongo 实现实时数据同步。此外,还展示了如何在 Vue 3 中将 MiniMongo 的 `cursor` 转化为响应式数组,实现数据的自动更新。
155 2
|
12月前
|
Linux iOS开发 MacOS
Flask 安装
Flask 安装还是比较简单的。
411 18
|
10月前
|
人工智能 JSON 小程序
【一步步开发AI运动小程序】八、利用body-calc进行姿态识别
随着AI技术的发展,各大厂商推出的如“乐动力”、“天天跳绳”等AI运动APP,使得云上运动会、线上健身等概念风靡一时。本文将引导读者从零开始开发一个AI运动小程序,使用“云智AI运动识别小程序插件”,介绍人体姿态检测规则、规则编写语法、执行检测规则运算及姿态检测实战等内容,助力开发者轻松实现AI运动小程序的开发。
【一步步开发AI运动小程序】八、利用body-calc进行姿态识别
|
弹性计算 Linux 数据安全/隐私保护
在已有的 ECS 上重装幻兽帕鲁服务器、迁移到计算巢、或升级计算巢服务版本
现在你可以参考这篇教程,将原来搭建的幻兽帕鲁服务器迁移到计算巢上,享受计算巢上所支持的界面化调整游戏配置(死亡掉落、服务器密码等)。 或者也可以用于重新安装,升级到最新版本的计算巢幻兽帕鲁服务。
33678 8
|
缓存 NoSQL Java
用好缓存,让你的接口速度飞起来
本文是关于接口性能优化,特别是通过缓存来提升接口响应速度的探讨。作者是一名有六年经验的Java后端开发者,分享了自己避免线上系统因代码崩溃造成资损的经验,主要归功于业务的简单性、遵循代码规约和积累的实用技巧。文章重点讲解了缓存的两个方面:缓存预热(包括定时任务和启动预热)和缓存层次化(多级缓存和热点数据缓存),并提供了如何用代码实现这些思路的示例。作者还介绍了自定义缓存处理器的设计和实现,包括接口和抽象类的定义,以及使用函数式编程实现的缓存查询模板。最后提醒,缓存虽有益但需谨慎使用,应根据业务需求和数据特征定制策略。
349 1
|
网络架构 芯片 内存技术
TP_Link WR886N 硬改闪存16M内存64M,刷入openwrt
TP_Link WR886N 硬改闪存16M内存64M,刷入openwrt
568 1
|
存储 SQL 关系型数据库
谈谈SQL的优化经验
谈谈SQL的优化经验
|
存储 前端开发 JavaScript
sass笔记 - 实战中颜色的玩法总结
这篇文章是针对自己封装UI组件库的读者的,旨在为项目提供通用的颜色方案本文需要读者拥有CSS、SASS/SCSS相关基础知识。
323 1
sass笔记 - 实战中颜色的玩法总结