实验:自然语言处理简单实现(二)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: 实验:自然语言处理简单实现(二)

开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):实验:自然语言处理简单实现(二)】

课程地址https://edu.aliyun.com/course/3112108/lesson/19282


实验:自然语言处理简单实现(二)


二、快速实现电商领域的文本分类


图片638.png

 

1、电商领域商品分类的背景

电商领域的商品,它的种类非常多,据不完全统计,在电商市场上流通的商品已经有上百万种,有多种的商品分类就成了必要,分类是为了方便消费者购买,分类也有利于商业部门来组织商品流通,提高企业管理的水平。


商品分类,指的是为了一定的目的,选择适当的分类标志,将商品总体的、科学的、系统地逐级分类。那对商品进行分类的时候,可以根据商品的用途进行分类。

按照这种方式,便于比较相同用途的各类商品,可以比较他们的质量水平,产销情况、性能特点、效用等,能够促使生产者去提高质量,增加品种,也能够方便消费者去对比选购,这种分类是有利于生产销售和消费的有机衔接。


但是对于储运部门和有多用途的这种商品,不使用商品,还可以按照生产方法去进行分类,这种特别适用于原材料相同,但是可以选用多种工艺去生产的这个商品。

它的优点是因生产方法工艺的不同,突显示出商品的个性,有利于销售和工艺的革新。但是对那些生产方法可能有差别,但是商品的性能特征没有实质性区别的商品,不宜采用这种分类方法。

还可以按照原材料去分类,以原材料为标志进行分类的优点有很多,它分类清楚,还能从本质上反映各类商品的性能特点。但是这种分类方式对由多种原材料组成的商品,像是汽车、电视机、电器这种它并不适宜。


总的来说这个电商领域的商品分类是件很麻烦的事情,这也是为什么希望通过人工智能的技术,对商品进行自动的分类。

图片639.png目前智能文本分类支持的领域是电商领域,当用户输入一段文本之后,智能文本分类能够把它映射到具体的类目上。


系统里面默认支持了十六个电商领域的商品类目:

具体的类目有时尚穿搭、美容妆发、家居生活、数码科技、动漫、户外运动、汽车游戏、萌宠、美食、母婴、影视、旅游、摄影星座和园艺。


这个实验要通过调用阿里的智能文本分类的API来实现。只要输入相关电商文本商品的内容,就可以输出商品所属的类别。本次实验用到的软件,主要是这个谷歌的浏览器。然后,要准备阿里云的账号,要开通阿里云机器学习拍平台,使用的硬件的要求其实很低,能打开浏览器就可以了。

图片640.png

图片641.png

所以需要有PC,然后有1G以上的内存,四十G以上的硬盘。实验的步骤首先要创建派的DSW实例,然后安装依赖包,就可以调用智能文本分类的API。因为使用的是派平台,大多数的依赖包都已经预装好了。


而这个NLP的基础服务2.0,已经把所有的自然语言处理功能全部都封装到这个包了。阿里云SDK的封装到这个工具包了。所以在做这个实验时,只需要再装一下这个工具包就可以了。

安装的方法:打开终端,terminal,然后运行安装PIP命令,pip install和阿里云python SDK。

阿里lop工具包完成之后,可以用这个查询命令pip list, 就是列表查看一下工具包是否安装好,要能够找到这个阿里云python SDK,阿里NLP。如果列表查看出现它了,就说明这个包已经安装好了。

下面来学习调用智能文本分类的API。

图片642.png

首先要用这个notebook的这个环境,第一步,进到这个环境之后,要设置这个client客户端。那在编写代码的时候,要把AK ID、 AK Secret替换成自己的阿里云账户开通的kid和secret,然后写好client之后,就可以开始调用API了。


可以看到这个访问API得到响应的结果。输出来之后有一个label标签,那本次实验的文本经过这个分类之后,调用分类API之后,得到的结果是在穿搭时尚领域。

 

本章小结

通过本章节的学习,我们学到了:

1、自然语言处理的概念、研究任务与发展趋势;

2、语料库的概念与常见的语料库;

3、自然语言处理中词法分析、句法分析和语义分析等技术的主要作用;

4、自然语言处理中分词、词性标注、关键词提取、命名实体识别、语法分析和文本向量化等基础技术的概念与实现原理;

5、文本分类、情感分析、文本纠错和问答系统的概念和应用场景;

6、文本标签生成、文章摘要生成和智能创作的概念和应用场景;

7、阿里云自然语言处理NLP平台功能、API调用方法。

相关文章
|
11月前
|
自然语言处理 算法 数据可视化
NLP7:综合实验
NLP7:综合实验
54 0
NLP7:综合实验
|
12月前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】实验18 自然语言处理
【深度学习】实验18 自然语言处理
65 0
|
人工智能 自然语言处理 算法
实验:自然语言处理简单实现(一)
实验:自然语言处理简单实现(一)
111 0
|
自然语言处理 算法
nlp入门之新闻分类实验
本文使用sougouCy数据集,对收集到的新闻数据进行分类
|
弹性计算 自然语言处理 Ubuntu
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
放假在家,由于疫情无法返校,实验室的服务器又无法实验外网web访问。使用ECS服务器解决了外网访问的麻烦。轻轻松松随时随地任意网络访问IP,实现brat标注顺利进行。
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
|
人工智能 自然语言处理 Java
|
6天前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习在自然语言处理中的应用与挑战
本文探讨了深度学习技术在自然语言处理(NLP)领域的应用,包括机器翻译、情感分析和文本生成等方面。同时,讨论了数据质量、模型复杂性和伦理问题等挑战,并提出了未来的研究方向和解决方案。通过综合分析,本文旨在为NLP领域的研究人员和从业者提供有价值的参考。
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【9月更文挑战第17天】本文主要介绍了AI技术在自然语言处理(NLP)领域的应用,包括文本分类、情感分析、机器翻译和语音识别等方面。通过实例展示了AI技术如何帮助解决NLP中的挑战性问题,并讨论了未来发展趋势。
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI技术在自然语言处理中的应用
【9月更文挑战第22天】本文将探讨AI技术在自然语言处理(NLP)领域的应用,包括文本挖掘、情感分析、机器翻译等方面。我们将通过实例和代码示例,展示如何使用Python和相关库实现这些功能。
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习在自然语言处理中的应用与未来展望
本文探讨了深度学习技术在自然语言处理(NLP)领域的应用,重点分析了神经网络模型如循环神经网络(RNN)、长短期记忆网络(LSTM)和Transformer等在文本生成、语义理解及情感分析等任务中的卓越表现。通过具体案例展示了这些模型如何有效解决传统方法难以处理的问题,并讨论了当前面临的挑战及未来可能的发展方向,为进一步研究提供了新的视角和思路。
下一篇
无影云桌面