阿里,很强,开源了!

简介: 阿里,很强,开源了!

你好,我是Giant。


昨天浏览Github的时候,无意中发现阿里又有了新动作:开源了最新的自然语言处理框架—PAI-EasyNLP。


我详细整理了这份食用指南,送给热爱算法的读者们。


1. 何谓EasyNLP?



EasyNLP主要帮助Pytorch用户简单高效地实现传统NLU任务,以及使用预训练语言模型、小样本学习、关键词提取、敏感词识别、数据增强等算法。


主要有以下特性:


1)无缝接入huggingface/transformers的模型

2)发挥预训练模型魅力,集成了前沿的知识预训练模型,包括DKPLM和KGBERT等;

3)大模型高效落地,提供小样本学习和知识蒸馏能力,方便用户在很少的样本上训练大模型并取得很好的效果;

4)高度自定义,除了简洁的PAI命令,用户可根据自己的需求进行模型、数据处理、训练、评估、预测自定义。


预览整个框架,EasyNLP可满足多模态、知识蒸馏、小样本学习、NLU、NLG各个任务的需求。



Overview

支持使用pip指令一键安装。


$ pip install pai-easynlp


2.EasyNLP使用实例



简单来说,EasyNLP有两种调用方法,都非常简单。以文本分类为例,第一种可以使用EasyNLP的api快速实现一个基于BERT的分类器。



如果是自己的数据集,使用dataset的api也可以很快导入。数据格式通过“input_schema”指定。



然后运行main.py脚本就开始愉快的训练了!



其次,我们还能通过AppZoo指令更高效地执行任务。ModelZoo已支持BERT、RoBertA、MacBERT、KGBERT等十几种预训练模型。


有多高效?大约是13行代码。



inference的过程也同样简单,更多教程留给大家测试。



相关文章
|
负载均衡 安全 应用服务中间件
什么是正向代理和反向代理
正向代理是客户端与服务端之间的中介,用于访问受限资源,如V/P/N和动态IP代理,同时可隐藏客户端IP。反向代理则接收客户端请求并转发给后端服务器集群,隐藏真实服务器信息,常用于堡垒机和负载均衡,如nginx。正向代理焦点在客户端,反向代理关注服务端。
|
10月前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
943 49
|
SQL 存储 前端开发
< 今日份知识点:web常见的攻击方式(网络攻击)有哪些?如何预防?如何防御呢 ? >
网络安全威胁日益严重,2017年的永恒之蓝勒索病毒事件揭示了网络攻击的破坏力。为了防御Web攻击,了解攻击类型至关重要。Web攻击包括XSS、CSRF和SQL注入等,其中XSS分为存储型、反射型和DOM型,允许攻击者通过注入恶意代码窃取用户信息。防止XSS攻击的方法包括输入验证、内容转义和避免浏览器执行恶意代码。CSRF攻击则伪装成用户执行操作,防范措施包括同源策略和CSRF Token验证。SQL注入则通过恶意SQL语句获取数据,预防手段包括输入验证和使用预编译语句。面对网络威胁,加强安全意识和实施防御策略是必要的。
519 0
|
11月前
|
监控 JavaScript 前端开发
前端的混合之路Meteor篇(六):发布订阅示例代码及如何将Meteor的响应数据映射到vue3的reactive系统
本文介绍了 Meteor 3.0 中的发布-订阅模型,详细讲解了如何在服务器端通过 `Meteor.publish` 发布数据,包括简单发布和自定义发布。客户端则通过 `Meteor.subscribe` 订阅数据,并使用 MiniMongo 实现实时数据同步。此外,还展示了如何在 Vue 3 中将 MiniMongo 的 `cursor` 转化为响应式数组,实现数据的自动更新。
150 2
|
12月前
|
Linux iOS开发 MacOS
Flask 安装
Flask 安装还是比较简单的。
389 18
|
10月前
|
人工智能 JSON 小程序
【一步步开发AI运动小程序】八、利用body-calc进行姿态识别
随着AI技术的发展,各大厂商推出的如“乐动力”、“天天跳绳”等AI运动APP,使得云上运动会、线上健身等概念风靡一时。本文将引导读者从零开始开发一个AI运动小程序,使用“云智AI运动识别小程序插件”,介绍人体姿态检测规则、规则编写语法、执行检测规则运算及姿态检测实战等内容,助力开发者轻松实现AI运动小程序的开发。
【一步步开发AI运动小程序】八、利用body-calc进行姿态识别
|
XML 自然语言处理 前端开发
NLP自学习平台提供了API接口调用服务,这些接口可以通过HTTP GET请求进行调用
【2月更文挑战第7天】NLP自学习平台提供了API接口调用服务,这些接口可以通过HTTP GET请求进行调用
170 2
|
机器学习/深度学习 数据可视化 TensorFlow
【视频】LSTM模型原理及其进行股票收盘价的时间序列预测讲解|附数据代码1
【视频】LSTM模型原理及其进行股票收盘价的时间序列预测讲解|附数据代码
|
SQL 分布式计算 Hadoop
Hive on Tez 的安装配置
Hive on Tez 的安装配置
831 0
Hive on Tez 的安装配置
|
网络架构 芯片 内存技术
TP_Link WR886N 硬改闪存16M内存64M,刷入openwrt
TP_Link WR886N 硬改闪存16M内存64M,刷入openwrt
561 1