实验:自然语言处理简单实现(二)

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
大数据开发治理平台 DataWorks,不限时长
实时计算 Flink 版,5000CU*H 3个月
简介: 实验:自然语言处理简单实现(二)

开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):实验:自然语言处理简单实现(二)】

课程地址https://edu.aliyun.com/course/3112108/lesson/19282


实验:自然语言处理简单实现(二)


二、快速实现电商领域的文本分类


图片638.png

 

1、电商领域商品分类的背景

电商领域的商品,它的种类非常多,据不完全统计,在电商市场上流通的商品已经有上百万种,有多种的商品分类就成了必要,分类是为了方便消费者购买,分类也有利于商业部门来组织商品流通,提高企业管理的水平。


商品分类,指的是为了一定的目的,选择适当的分类标志,将商品总体的、科学的、系统地逐级分类。那对商品进行分类的时候,可以根据商品的用途进行分类。

按照这种方式,便于比较相同用途的各类商品,可以比较他们的质量水平,产销情况、性能特点、效用等,能够促使生产者去提高质量,增加品种,也能够方便消费者去对比选购,这种分类是有利于生产销售和消费的有机衔接。


但是对于储运部门和有多用途的这种商品,不使用商品,还可以按照生产方法去进行分类,这种特别适用于原材料相同,但是可以选用多种工艺去生产的这个商品。

它的优点是因生产方法工艺的不同,突显示出商品的个性,有利于销售和工艺的革新。但是对那些生产方法可能有差别,但是商品的性能特征没有实质性区别的商品,不宜采用这种分类方法。

还可以按照原材料去分类,以原材料为标志进行分类的优点有很多,它分类清楚,还能从本质上反映各类商品的性能特点。但是这种分类方式对由多种原材料组成的商品,像是汽车、电视机、电器这种它并不适宜。


总的来说这个电商领域的商品分类是件很麻烦的事情,这也是为什么希望通过人工智能的技术,对商品进行自动的分类。

图片639.png目前智能文本分类支持的领域是电商领域,当用户输入一段文本之后,智能文本分类能够把它映射到具体的类目上。


系统里面默认支持了十六个电商领域的商品类目:

具体的类目有时尚穿搭、美容妆发、家居生活、数码科技、动漫、户外运动、汽车游戏、萌宠、美食、母婴、影视、旅游、摄影星座和园艺。


这个实验要通过调用阿里的智能文本分类的API来实现。只要输入相关电商文本商品的内容,就可以输出商品所属的类别。本次实验用到的软件,主要是这个谷歌的浏览器。然后,要准备阿里云的账号,要开通阿里云机器学习拍平台,使用的硬件的要求其实很低,能打开浏览器就可以了。

图片640.png

图片641.png

所以需要有PC,然后有1G以上的内存,四十G以上的硬盘。实验的步骤首先要创建派的DSW实例,然后安装依赖包,就可以调用智能文本分类的API。因为使用的是派平台,大多数的依赖包都已经预装好了。


而这个NLP的基础服务2.0,已经把所有的自然语言处理功能全部都封装到这个包了。阿里云SDK的封装到这个工具包了。所以在做这个实验时,只需要再装一下这个工具包就可以了。

安装的方法:打开终端,terminal,然后运行安装PIP命令,pip install和阿里云python SDK。

阿里lop工具包完成之后,可以用这个查询命令pip list, 就是列表查看一下工具包是否安装好,要能够找到这个阿里云python SDK,阿里NLP。如果列表查看出现它了,就说明这个包已经安装好了。

下面来学习调用智能文本分类的API。

图片642.png

首先要用这个notebook的这个环境,第一步,进到这个环境之后,要设置这个client客户端。那在编写代码的时候,要把AK ID、 AK Secret替换成自己的阿里云账户开通的kid和secret,然后写好client之后,就可以开始调用API了。


可以看到这个访问API得到响应的结果。输出来之后有一个label标签,那本次实验的文本经过这个分类之后,调用分类API之后,得到的结果是在穿搭时尚领域。

 

本章小结

通过本章节的学习,我们学到了:

1、自然语言处理的概念、研究任务与发展趋势;

2、语料库的概念与常见的语料库;

3、自然语言处理中词法分析、句法分析和语义分析等技术的主要作用;

4、自然语言处理中分词、词性标注、关键词提取、命名实体识别、语法分析和文本向量化等基础技术的概念与实现原理;

5、文本分类、情感分析、文本纠错和问答系统的概念和应用场景;

6、文本标签生成、文章摘要生成和智能创作的概念和应用场景;

7、阿里云自然语言处理NLP平台功能、API调用方法。

相关文章
|
9月前
|
自然语言处理 算法 数据可视化
NLP7:综合实验
NLP7:综合实验
46 0
NLP7:综合实验
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】实验18 自然语言处理
【深度学习】实验18 自然语言处理
55 0
|
11月前
|
人工智能 自然语言处理 算法
实验:自然语言处理简单实现(一)
实验:自然语言处理简单实现(一)
101 0
|
自然语言处理 算法
nlp入门之新闻分类实验
本文使用sougouCy数据集,对收集到的新闻数据进行分类
|
弹性计算 自然语言处理 Ubuntu
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
放假在家,由于疫情无法返校,实验室的服务器又无法实验外网web访问。使用ECS服务器解决了外网访问的麻烦。轻轻松松随时随地任意网络访问IP,实现brat标注顺利进行。
ECS服务器使用体验之搭建brat平台,实现文本文件的简单标注,助力NLP实验
|
人工智能 自然语言处理 Java
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【自然语言处理】TF-IDF算法在人工智能方面的应用,附带代码
TF-IDF算法在人工智能领域,特别是自然语言处理(NLP)和信息检索中,被广泛用于特征提取和文本表示。以下是一个使用Python的scikit-learn库实现TF-IDF算法的简单示例,并展示如何将其应用于文本数据。
115 65
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【自然语言处理】python之人工智能应用篇——文本生成技术
文本生成是指使用自然语言处理技术,基于给定的上下文或主题自动生成人类可读的文本。这种技术可以应用于各种领域,如自动写作、聊天机器人、新闻生成、广告文案创作等。
18 8
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】探讨最新的深度学习算法、模型创新以及在图像识别、自然语言处理等领域的应用进展
深度学习作为人工智能领域的重要分支,近年来在算法、模型以及应用领域都取得了显著的进展。以下将探讨最新的深度学习算法与模型创新,以及它们在图像识别、自然语言处理(NLP)等领域的应用进展。
14 6
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【自然语言处理】自然语言处理NLP概述及应用
自然语言处理(Natural Language Processing,简称NLP)是一门集计算机科学、人工智能以及语言学于一体的交叉学科,致力于让计算机能够理解、解析、生成和处理人类的自然语言。它是人工智能领域的一个关键分支,旨在缩小人与机器之间的交流障碍,使得机器能够更有效地识别并响应人类的自然语言指令或内容。
9 4