Python爬取京东Iphone X用户评论并绘制词云

简介: 目标爬取京东商城上iPhone X用户评论数据;使用jieba对评论数据进行分词处理;使用wordcloud绘制词云图。目前京东商城只会展示商品的前100页评论,所以我们能爬取到的评论只有1000条。

目标

  • 爬取京东商城上iPhone X用户评论数据;
  • 使用jieba对评论数据进行分词处理;
  • 使用wordcloud绘制词云图。

目前京东商城只会展示商品的前100页评论,所以我们能爬取到的评论只有1000条。
不过如果区分下好/差/中评分别爬取的话,理论上应该能保存3000条评论。

爬虫部分

  • 打开京东iphone X商品页面,进入控制台找到我们想要的用户评论,评论的接口地址也就找到了。


    img_b8c0235a1de09cf63d86a3c7ea5b4d3f.png
    image.png
  • 然后我们会发现这个接口地址是可以直接访问的,并不需要post参数,直接get就行,后面发现,连header都不需要设置,这样问题就很简单了。


    img_d612467034cac2e672260bb862203638.png
    image.png
  • 分析接口地址我们可以看到有几个参数:


    img_a944c5d09d128d3a3aac019fa2469b96.png

    productid:商品编号
    score:好差评(0表示全部评论)
    sortType:推荐排序/时间排序
    page:页码
    pagesize:每页显示评论数
    还有两个没搞明白,不过不重要了,我们需要的就是写个循环传入page参数就行了。

  • 接口地址返回的数据不是标准的json格式,我们需要手动处理下。
    1.去掉前面的‘fetchJSON_comment98vv56725(’
    2.去掉末尾的‘);’
    3.json包加载数据处理就行了。

    img_fa47b57cebf976129e8c5819af44765c.png
    img_03b8a0124d47f83ae53234f83de274a3.png

  • 循环获取每个页面的评论数据,保存到本地。

绘制词云

绘制词云主要用到两个包,一个是jieba,用于文本分词的,一个是wordcloud,用于绘制最后的词云。参数比较多,大家可以直接访问jieba+wordcloud去查看。

  • 背景图片


    img_d4d493f03c5e38bbe027c2ba604b5b71.png
  • 最后效果如下

    img_3758d94e0fdf93b2db411e1f25b0b01a.png
    词云

代码部分

# -*- coding:utf-8 -*-

import requests
import json
import jieba
from scipy.misc import imread  
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
import matplotlib.pyplot as plt


def jd_spider(page):
    url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv56693&productId=5089253&score=0&sortType=5&page=%d&pageSize=10&isShadowSku=0&fold=1'%(page)
    #用于存储单页评论,每页评论保存一次
    comment = ''
    #无需设置header,直接访问就行了
    response = requests.get(url)
    data = unicode(response.content,'GBK').encode('utf-8')
    '''
    接口地址返回的不是标准json数据,需要进行处理
    去掉头部的‘fetchJSON_comment98vv56693(’和‘);’两部分
    然后再用json包读取数据就可以了
    '''
    data = data.split('(',1)[1]#根据(进行切片一次处理,取第二部分
    data = data[0:len(data)-2]#然后去掉后面的)和;
    data_json = json.loads(str(data))['comments']
    #循环读取每条评论,通过换行符连接起来
    for i in list(range(len(data_json))):
        comment = comment+data_json[i]['content'].encode('utf-8')+'\n'
    print '****Page %d has been saved****'%(page)
    return comment


#将读取的数据保存到本地txt文件
def save_comments(comments):
    with open('comments.txt','a') as f:
        f.write(comments)
'''
由于京东限制了,只展示前100页评论
循环99次就好了,后面返回的都是空页面
'''
for page in list(range(99)):
    page = page+1
    comments = jd_spider(page)
    save_comments(comments)
print '****jd_spider@Awesome_Tang****'

'''
绘制词云部分
'''
back_color = imread('apple.png')  # 解析该图片

wc = WordCloud(background_color='white',  # 背景颜色
               max_words=1000,  # 最大词数
               mask=back_color,  # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
               max_font_size=100,  # 显示字体的最大值
               font_path="/Users/tangwenpan/Downloads/simhei.ttf",  # 解决显示口字型乱码问题
               random_state=42,  # 为每个词返回一个PIL颜色
               # width=1000,  # 图片的宽
               # height=860  #图片的长
               )

# 打开保存的评论数据
text = open('comments.txt').read()

def word_cloud(texts):
    words_list = []
    word_generator = jieba.cut(texts, cut_all=False)  # 返回的是一个迭代器
    for word in word_generator:
        if len(word) > 1:  #去掉单字
            words_list.append(word)
    return ' '.join(words_list)  


text = word_cloud(text)

wc.generate(text)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 显示图片
plt.imshow(wc)
# 关闭坐标轴
plt.axis('off')
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
# 保存图片
wc.to_file('comment.png')
print 'comment.png has bee saved!'

一直觉得词云是个蛮好玩的东西,想自己也做下玩玩,所以这次也就是想着先做点东西出来,代码部分可能就比较粗糙了,后期有时间再改改。


Peace~

目录
相关文章
|
1月前
|
机器学习/深度学习 自然语言处理 数据可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化
|
4天前
|
开发者 Python
GitHub飙升!京东认证的“Python编程入门三剑客”究竟好在哪?
Python凭借着简单易学、功能强大,已经跃居TIOB编程语言榜首,并且已经开始了它的霸榜之旅。如何选择一套适合自己的Python学习教程,是每个Python爱好者面临的首要问题。
|
5天前
|
存储 XML 数据处理
Python网络实践:去哪儿旅游数据爬取指南
Python网络实践:去哪儿旅游数据爬取指南
|
9天前
|
数据采集 JSON 算法
使用Python爬取华为市场APP应用进行分析
这个网站也是作者最近接触到的一个APP应用市场类网站。讲实话,还是蛮适合新手朋友去动手学习的。毕竟爬虫领域要想进步,还是需要多实战、多分析!该网站中的一些小细节也是能够锻炼分析能力的,也有反爬虫处理。甚至是下载APP的话在Web端是无法拿到APK下载的直链,需要去APP端接口数据获取
|
11天前
|
开发者 Python
GitHub飙升!京东认证的“Python编程入门三剑客”究竟好在哪?
Python凭借着简单易学、功能强大,已经跃居TIOB编程语言榜首,并且已经开始了它的霸榜之旅。如何选择一套适合自己的Python学习教程,是每个Python爱好者面临的首要问题。 今天给小伙伴们带来的是图灵&京东认证的“Python编程入门三剑客”,先看《Python编程从入门到实践》,打好Python入门的底子;再看《Python编程快速上手》,增强用Python处理工作中实际问题的能力;最后看《Python极客项目编程》,用充满想象力的实战案例,充分理解Python编程的奥秘,完成从小白到大神的进化。
|
12天前
|
自然语言处理 监控 数据可视化
艺术与文本的交织:基于Python的jieba和wordcloud库实现华丽词云
艺术与文本的交织:基于Python的jieba和wordcloud库实现华丽词云
24 0
|
15天前
|
Python 数据采集 安全
淘宝商品评论数据爬取:Python实战指南
淘宝商品评论数据的自动爬取可以为市场分析和用户行为研究提供宝贵的信息资源。然而,这一过程需要严格遵守法律法规,尊重数据的版权和隐私。通过合理利用Python的网络爬虫技术,可以在遵循道德规范的前提下,高效地完成数据采集任务。 通过本文的指南,希望你能对淘宝商品评论数据的爬取有一个清晰的认识,并能够安全、合法地进行数据采集。
|
1月前
|
数据采集 Web App开发 iOS开发
爬取B站评论:Python技术实现详解
爬取B站评论:Python技术实现详解
|
1月前
|
数据采集 机器学习/深度学习 供应链
python基于评论情感分析和回归、arima销量预测的购物网站选品
python基于评论情感分析和回归、arima销量预测的购物网站选品
|
1月前
|
机器学习/深度学习 数据采集 自然语言处理
数据分享|Python酒店评论文本分析:tfidf、贝叶斯、逻辑回归,支持向量机SVM、K最邻近KNN、随机森林、LDA主题模型
数据分享|Python酒店评论文本分析:tfidf、贝叶斯、逻辑回归,支持向量机SVM、K最邻近KNN、随机森林、LDA主题模型