开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):实验:自然语言处理简单实现(二)】
课程地址:https://edu.aliyun.com/course/3112108/lesson/19282
实验:自然语言处理简单实现(二)
二、快速实现电商领域的文本分类
1、电商领域商品分类的背景
电商领域的商品,它的种类非常多,据不完全统计,在电商市场上流通的商品已经有上百万种,有多种的商品分类就成了必要,分类是为了方便消费者购买,分类也有利于商业部门来组织商品流通,提高企业管理的水平。
商品分类,指的是为了一定的目的,选择适当的分类标志,将商品总体的、科学的、系统地逐级分类。那对商品进行分类的时候,可以根据商品的用途进行分类。
按照这种方式,便于比较相同用途的各类商品,可以比较他们的质量水平,产销情况、性能特点、效用等,能够促使生产者去提高质量,增加品种,也能够方便消费者去对比选购,这种分类是有利于生产销售和消费的有机衔接。
但是对于储运部门和有多用途的这种商品,不使用商品,还可以按照生产方法去进行分类,这种特别适用于原材料相同,但是可以选用多种工艺去生产的这个商品。
它的优点是因生产方法工艺的不同,突显示出商品的个性,有利于销售和工艺的革新。但是对那些生产方法可能有差别,但是商品的性能特征没有实质性区别的商品,不宜采用这种分类方法。
还可以按照原材料去分类,以原材料为标志进行分类的优点有很多,它分类清楚,还能从本质上反映各类商品的性能特点。但是这种分类方式对由多种原材料组成的商品,像是汽车、电视机、电器这种它并不适宜。
总的来说这个电商领域的商品分类是件很麻烦的事情,这也是为什么希望通过人工智能的技术,对商品进行自动的分类。
目前智能文本分类支持的领域是电商领域,当用户输入一段文本之后,智能文本分类能够把它映射到具体的类目上。
系统里面默认支持了十六个电商领域的商品类目:
具体的类目有时尚穿搭、美容妆发、家居生活、数码科技、动漫、户外运动、汽车游戏、萌宠、美食、母婴、影视、旅游、摄影星座和园艺。
这个实验要通过调用阿里的智能文本分类的API来实现。只要输入相关电商文本商品的内容,就可以输出商品所属的类别。本次实验用到的软件,主要是这个谷歌的浏览器。然后,要准备阿里云的账号,要开通阿里云机器学习拍平台,使用的硬件的要求其实很低,能打开浏览器就可以了。
所以需要有PC,然后有1G以上的内存,四十G以上的硬盘。实验的步骤首先要创建派的DSW实例,然后安装依赖包,就可以调用智能文本分类的API。因为使用的是派平台,大多数的依赖包都已经预装好了。
而这个NLP的基础服务2.0,已经把所有的自然语言处理功能全部都封装到这个包了。阿里云SDK的封装到这个工具包了。所以在做这个实验时,只需要再装一下这个工具包就可以了。
安装的方法:打开终端,terminal,然后运行安装PIP命令,pip install和阿里云python SDK。
阿里lop工具包完成之后,可以用这个查询命令pip list, 就是列表查看一下工具包是否安装好,要能够找到这个阿里云python SDK,阿里NLP。如果列表查看出现它了,就说明这个包已经安装好了。
下面来学习调用智能文本分类的API。
首先要用这个notebook的这个环境,第一步,进到这个环境之后,要设置这个client客户端。那在编写代码的时候,要把AK ID、 AK Secret替换成自己的阿里云账户开通的kid和secret,然后写好client之后,就可以开始调用API了。
可以看到这个访问API得到响应的结果。输出来之后有一个label标签,那本次实验的文本经过这个分类之后,调用分类API之后,得到的结果是在穿搭时尚领域。
本章小结
通过本章节的学习,我们学到了:
1、自然语言处理的概念、研究任务与发展趋势;
2、语料库的概念与常见的语料库;
3、自然语言处理中词法分析、句法分析和语义分析等技术的主要作用;
4、自然语言处理中分词、词性标注、关键词提取、命名实体识别、语法分析和文本向量化等基础技术的概念与实现原理;
5、文本分类、情感分析、文本纠错和问答系统的概念和应用场景;
6、文本标签生成、文章摘要生成和智能创作的概念和应用场景;
7、阿里云自然语言处理NLP平台功能、API调用方法。