GluonNLP让NPL变得更加简单

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介: GluonNLP让NPL变得更加简单

之前我们讲过NPL(自然语言处理),使用的是NLTK这样一个包,现在呢,我们又有了新的法宝----GluonNPL。在做自然语言处理上能帮我们提升不少效率。


GluonNLP提供了NLP中最先进的(SOTA)深度学习模型的实现,并为文本数据管道和模型构建块。它是为工程师,研究人员和学生设计的,以快速原型研究想法和产品基于这些模型。这个工具包提供了三个主要特性:

1、训练脚本复制SOTA结果报告在研究论文。

2、针对普通NLP任务的预训练模型。

3、精心设计的api大大降低了实现的复杂性。


安装:

pip install --pre --upgrade mxnet

pip install gluonnlp

在安装gluonnlp之前需要安装mxnet的依赖。


笔者在本地没有GPU的环境,就借用了谷歌的COLAB来试了一下。

COLAB地址:

https://colab.research.google.com/drive/1YLVDj7DLuEMjDOJI8rvi-HBveUoEbSnt#scrollTo=a5k2vooFJHKx


640.jpg

640.jpg


640.jpg

安装完之后我们就可以调用啦!

我们来看一个小小的例子:

640.png

比较两个单词baby和infant的相似度

640.png

我们可以看到输出的对比结果为0.740


我们可以看看使用gluonnlp是如何搭建评估模型和训练模型的:

首先导入相应的包:

640.png

设置一下环境:

640.png

初始化参数:

640.png

加载数据集,提取词汇表,对截断的BPTT进行数值化和批处理

640.png

加载预定义的语言模型:


640.png

640.png

分离梯度:

640.png


评估:


640.png

训练阶段:

640.jpg


640.jpg

训练和评估:

640.png


输出:

640.jpg


在这个示例中,我们看到:GluonNLP Toolkit提供了高级api,可以极大地简化NLP任务建模的开发过程。低级的NLP api可以轻松定制。



如果还想了解更多,点击阅读原文吧!

相关文章
|
5月前
|
Nacos
Nacos常见问题之无法注册如何解决
Nacos是一款易于使用的动态服务发现、配置管理和服务管理平台,针对不同版本可能出现的兼容性和功能问题,本汇总贴心整理了用户在使用Nacos时可能遇到的版本相关问题及答案,以便用户能够更顺畅地进行服务治理和配置管理。
1439 2
|
5月前
|
数据采集 算法 数据处理
Modelscope-FunASR平台提供了高效的处理能力
【2月更文挑战第4天】Modelscope-FunASR平台提供了高效的处理能力
153 9
|
5月前
|
PyTorch 测试技术 TensorFlow
Modelscope-FunASR是一个开源的语音识别框架
【2月更文挑战第9天】Modelscope-FunASR是一个开源的语音识别框架
641 2
|
5月前
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习】Rasa NLU以及Rasa Core概念和语法简介(超详细必看)
【机器学习】Rasa NLU以及Rasa Core概念和语法简介(超详细必看)
364 0
|
人工智能 达摩院 自然语言处理
达摩院联合高德发布业界首个多模态地理文本预训练模型MGeo,并在ModelScope社区开源!
达摩院联合高德发布业界首个多模态地理文本预训练模型MGeo,并在ModelScope社区开源!
|
机器学习/深度学习 自然语言处理 算法
论文解读系列| 05:【NER】SoftLexicon模型详解
SoftLexicon是一种简单而有效的将词汇信息纳入字符表示的方法。这种方法避免设计复杂的序列建模结构,并且对于任何NER模型,它只需要细微地调整字符表示层来引入词典信息。在4个中文NER基准数据集上的实验结果表明,该方法的推理速度比现有SOTA方法快6.15倍,性能更好。
|
NoSQL Java Redis
5. 成功解决:Could not autowire. No beans of 'RedisConnectionFactory' type found.
今天建了一个新项目,使用 Spring Boot 整合 Redis 时,IDEA 被提醒“Could not autowire. No beans of 'RedisConnectionFactory' type found. ”错误,意思是不能自动装配“RedisConnectionFactory”。
2948 1
|
机器学习/深度学习 人工智能 算法
【图神经网络】 - GNN的几个模型及论文解析(NN4G、GAT、GCN)
【图神经网络】 - GNN的几个模型及论文解析(NN4G、GAT、GCN)
677 1
【图神经网络】 - GNN的几个模型及论文解析(NN4G、GAT、GCN)
|
机器学习/深度学习 编解码 算法
重磅好文透彻理解,异构图上 Node 分类理论与DGL源码实战
重磅好文透彻理解,异构图上 Node 分类理论与DGL源码实战
重磅好文透彻理解,异构图上 Node 分类理论与DGL源码实战