实验:自然语言处理简单实现(二)

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实验:自然语言处理简单实现(二)

开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):实验:自然语言处理简单实现(二)】

课程地址https://edu.aliyun.com/course/3112108/lesson/19282


实验:自然语言处理简单实现(二)


二、快速实现电商领域的文本分类


图片638.png

 

1、电商领域商品分类的背景

电商领域的商品,它的种类非常多,据不完全统计,在电商市场上流通的商品已经有上百万种,有多种的商品分类就成了必要,分类是为了方便消费者购买,分类也有利于商业部门来组织商品流通,提高企业管理的水平。


商品分类,指的是为了一定的目的,选择适当的分类标志,将商品总体的、科学的、系统地逐级分类。那对商品进行分类的时候,可以根据商品的用途进行分类。

按照这种方式,便于比较相同用途的各类商品,可以比较他们的质量水平,产销情况、性能特点、效用等,能够促使生产者去提高质量,增加品种,也能够方便消费者去对比选购,这种分类是有利于生产销售和消费的有机衔接。


但是对于储运部门和有多用途的这种商品,不使用商品,还可以按照生产方法去进行分类,这种特别适用于原材料相同,但是可以选用多种工艺去生产的这个商品。

它的优点是因生产方法工艺的不同,突显示出商品的个性,有利于销售和工艺的革新。但是对那些生产方法可能有差别,但是商品的性能特征没有实质性区别的商品,不宜采用这种分类方法。

还可以按照原材料去分类,以原材料为标志进行分类的优点有很多,它分类清楚,还能从本质上反映各类商品的性能特点。但是这种分类方式对由多种原材料组成的商品,像是汽车、电视机、电器这种它并不适宜。


总的来说这个电商领域的商品分类是件很麻烦的事情,这也是为什么希望通过人工智能的技术,对商品进行自动的分类。

图片639.png目前智能文本分类支持的领域是电商领域,当用户输入一段文本之后,智能文本分类能够把它映射到具体的类目上。


系统里面默认支持了十六个电商领域的商品类目:

具体的类目有时尚穿搭、美容妆发、家居生活、数码科技、动漫、户外运动、汽车游戏、萌宠、美食、母婴、影视、旅游、摄影星座和园艺。


这个实验要通过调用阿里的智能文本分类的API来实现。只要输入相关电商文本商品的内容,就可以输出商品所属的类别。本次实验用到的软件,主要是这个谷歌的浏览器。然后,要准备阿里云的账号,要开通阿里云机器学习拍平台,使用的硬件的要求其实很低,能打开浏览器就可以了。

图片640.png

图片641.png

所以需要有PC,然后有1G以上的内存,四十G以上的硬盘。实验的步骤首先要创建派的DSW实例,然后安装依赖包,就可以调用智能文本分类的API。因为使用的是派平台,大多数的依赖包都已经预装好了。


而这个NLP的基础服务2.0,已经把所有的自然语言处理功能全部都封装到这个包了。阿里云SDK的封装到这个工具包了。所以在做这个实验时,只需要再装一下这个工具包就可以了。

安装的方法:打开终端,terminal,然后运行安装PIP命令,pip install和阿里云python SDK。

阿里lop工具包完成之后,可以用这个查询命令pip list, 就是列表查看一下工具包是否安装好,要能够找到这个阿里云python SDK,阿里NLP。如果列表查看出现它了,就说明这个包已经安装好了。

下面来学习调用智能文本分类的API。

图片642.png

首先要用这个notebook的这个环境,第一步,进到这个环境之后,要设置这个client客户端。那在编写代码的时候,要把AK ID、 AK Secret替换成自己的阿里云账户开通的kid和secret,然后写好client之后,就可以开始调用API了。


可以看到这个访问API得到响应的结果。输出来之后有一个label标签,那本次实验的文本经过这个分类之后,调用分类API之后,得到的结果是在穿搭时尚领域。

 

本章小结

通过本章节的学习,我们学到了:

1、自然语言处理的概念、研究任务与发展趋势;

2、语料库的概念与常见的语料库;

3、自然语言处理中词法分析、句法分析和语义分析等技术的主要作用;

4、自然语言处理中分词、词性标注、关键词提取、命名实体识别、语法分析和文本向量化等基础技术的概念与实现原理;

5、文本分类、情感分析、文本纠错和问答系统的概念和应用场景;

6、文本标签生成、文章摘要生成和智能创作的概念和应用场景;

7、阿里云自然语言处理NLP平台功能、API调用方法。

相关文章
|
自然语言处理 算法 数据可视化
NLP7:综合实验
NLP7:综合实验
62 0
NLP7:综合实验
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】实验18 自然语言处理
【深度学习】实验18 自然语言处理
73 0
|
人工智能 自然语言处理 算法
实验:自然语言处理简单实现(一)
实验:自然语言处理简单实现(一)
123 0
|
自然语言处理 算法
nlp入门之新闻分类实验
本文使用sougouCy数据集,对收集到的新闻数据进行分类
|
弹性计算 自然语言处理 Ubuntu
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
放假在家,由于疫情无法返校,实验室的服务器又无法实验外网web访问。使用ECS服务器解决了外网访问的麻烦。轻轻松松随时随地任意网络访问IP,实现brat标注顺利进行。
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
|
人工智能 自然语言处理 Java
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习在自然语言处理中的应用与挑战
本文探讨了深度学习技术在自然语言处理(NLP)领域的应用,包括机器翻译、情感分析和文本生成等方面。同时,讨论了数据质量、模型复杂性和伦理问题等挑战,并提出了未来的研究方向和解决方案。通过综合分析,本文旨在为NLP领域的研究人员和从业者提供有价值的参考。
|
1月前
|
自然语言处理 算法 Python
自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
【10月更文挑战第9天】自然语言处理(NLP)在文本分析中的应用:从「被动收集」到「主动分析」
48 4
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在自然语言处理中的创新应用
【10月更文挑战第7天】本文将深入探讨人工智能在自然语言处理领域的最新进展,揭示AI技术如何改变我们与机器的互动方式,并展示通过实际代码示例实现的具体应用。
38 1