GluonNLP让NPL变得更加简单

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: GluonNLP让NPL变得更加简单

之前我们讲过NPL(自然语言处理),使用的是NLTK这样一个包,现在呢,我们又有了新的法宝----GluonNPL。在做自然语言处理上能帮我们提升不少效率。


GluonNLP提供了NLP中最先进的(SOTA)深度学习模型的实现,并为文本数据管道和模型构建块。它是为工程师,研究人员和学生设计的,以快速原型研究想法和产品基于这些模型。这个工具包提供了三个主要特性:

1、训练脚本复制SOTA结果报告在研究论文。

2、针对普通NLP任务的预训练模型。

3、精心设计的api大大降低了实现的复杂性。


安装:

pip install --pre --upgrade mxnet

pip install gluonnlp

在安装gluonnlp之前需要安装mxnet的依赖。


笔者在本地没有GPU的环境,就借用了谷歌的COLAB来试了一下。

COLAB地址:

https://colab.research.google.com/drive/1YLVDj7DLuEMjDOJI8rvi-HBveUoEbSnt#scrollTo=a5k2vooFJHKx


640.jpg

640.jpg


640.jpg

安装完之后我们就可以调用啦!

我们来看一个小小的例子:

640.png

比较两个单词baby和infant的相似度

640.png

我们可以看到输出的对比结果为0.740


我们可以看看使用gluonnlp是如何搭建评估模型和训练模型的:

首先导入相应的包:

640.png

设置一下环境:

640.png

初始化参数:

640.png

加载数据集,提取词汇表,对截断的BPTT进行数值化和批处理

640.png

加载预定义的语言模型:


640.png

640.png

分离梯度:

640.png


评估:


640.png

训练阶段:

640.jpg


640.jpg

训练和评估:

640.png


输出:

640.jpg


在这个示例中,我们看到:GluonNLP Toolkit提供了高级api,可以极大地简化NLP任务建模的开发过程。低级的NLP api可以轻松定制。



如果还想了解更多,点击阅读原文吧!

相关文章
|
7月前
|
安全
选择最佳供应商:ERP系统的供应商选择与评估方法论
选择最佳供应商:ERP系统的供应商选择与评估方法论
1003 0
|
1月前
|
Java 开发者
Java“NoSuchElementException”问题解决
“NoSuchElementException”是Java编程中常见的异常之一,通常发生在尝试从集合或迭代器中获取不存在的元素时。本文将介绍该异常的原因、常见场景及解决方法,帮助开发者有效应对这一问题。
152 5
|
5月前
|
存储 JSON 安全
Token验证技术文档
【7月更文挑战第6天】Token验证是现代Web应用中常见的安全措施,用于确保用户身份的合法性和请求的安全性。它基于令牌(Token)的概念,通过在客户端和服务端之间传递一个安全的、有时限的字符串来验证用户身份,替代传统的基于会话的认证机制。本文档旨在介绍一种基本的Token验证流程,并提供一个简单的代码示例,使用JSON Web Tokens (JWT) 实现这一过程。
648 1
|
4月前
|
编解码 语音技术
FunASR升级热词定制化问题之热词进行ASR推理如何配置
FunASR升级热词定制化问题之热词进行ASR推理如何配置
232 1
|
7月前
|
前端开发 JavaScript 程序员
【前端开发---Vue2】史上最详细的Vue2入门教程,从基础到进阶带你彻底掌握Vue(三)
【前端开发---Vue2】史上最详细的Vue2入门教程,从基础到进阶带你彻底掌握Vue(三)
|
7月前
|
数据采集 算法 数据处理
Modelscope-FunASR平台提供了高效的处理能力
【2月更文挑战第4天】Modelscope-FunASR平台提供了高效的处理能力
172 9
|
7月前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】Rasa NLU以及Rasa Core概念和语法简介(超详细必看)
【机器学习】Rasa NLU以及Rasa Core概念和语法简介(超详细必看)
437 0
|
SQL Oracle 关系型数据库
mybatisPlus分页配置操作
mybatisPlus分页配置操作
|
Linux Ubuntu Windows
|
XML SQL Java
【高效编码】IDEA中这些插件必知必会!!(Maven Helper等等)
您好,我是码农飞哥,感谢您阅读本文!如果此文对您有所帮助,请毫不犹豫的一键三连吧。上一篇文章介绍了Listary工具。这一篇文章我将继续介绍一些好用的插件工具,这里主要介绍在Idea中的一些五星好评的实用插件。闲话少述,让我们直入主题。
407 0
【高效编码】IDEA中这些插件必知必会!!(Maven Helper等等)