最近刷抖音的时候看到了一个网上爆火的话题
’既然所有的生命都要死亡，那么生命的意义是什么？‘
2000万浏览，近8万个回答。结果下方的评论让我大感意外
没有意义，只是为了活着....
似乎所有人都很悲观、厌世
所以今天我们就使用python来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？
目标获取
关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了，
直接进入主题吧!
直接创建scrapy项目创建完成结构如下：
需求分析
我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页
评论点赞数和评论时间并将其保存做可视化分析
网页分析
F12点击查看网页源码，所有评论信息如下：都在一个名为data的数据文件中存储。
所以第一步我们需要先获取该文件从而获取我们所需信息
item定义
上面已经分析出我们的5个需求，我们在items.py中定义如下：
# 作者首页 photo = scrapy.Field() # 作者名称 name = scrapy.Field() # 评论时间 cmt_time = scrapy.Field() # 评论点赞数 stars = scrapy.Field() # 评论内容 comments = scrapy.Field()
发送请求
找到网页请求的真实链接，如下：
然后我们使用scrapy在spider_zhihu.py文件中发送请求
为了防止被网站反爬，我们加上headers。
def parse(self, response): zhihu_data = response.json() ic(zhihu_data)
可以看到，我们已经成功的获取到了该json格式数据集
但是我们的数据是存储在data列表中的，所以我么还需进一步获取到data列表才能获取到目标数据
for zh in zhihu: # 作者名称 item['name'] = zh['author']['member']['name'] # 作者座右铭 item['motto'] = zh['author']['member']['headline'] # 评论时间 cmt_time = zh['created_time'] item['cmt_time'] = time.strftime('%Y-%m-%d %H:%M', time.localtime(cmt_time)) # 评论点赞数 item['stars'] = zh['vote_count'] # 评论内容 item['comments'] = zh['content'] ''' 沉吟 如果把一生分成两半，那么前半段一定是“不犹豫”，后半段一定是“不后悔”。 2021-09-21 20:06 0 生命本来没有意义，但总有一些事和一些人让它变得有意义。 梅莺苗刀 一个悟家。 2021-11-13 23:43 0 这可能是最正的一个回答，请列位耐心看完<br><br>如果死亡没有意义，那么活着能有什么意义... 嘿 小家伙 快乐不期而至 2021-02-04 00:53 0 延长生命 小羅 KeepFit健身工作室创始人自律即自由！ 2018-09-01 10:07 1 死了不是你另一种活着的方式吗 看着办 不知道说什么 2021-01-05 13:17 0 就是你不想死的意义 '''
需求现在已经实现，我们现在要做的就是将数据抛给pipeline，让他自行去下载，这一步scrapy已经写好了，我们只需打开开关即可
ITEM_PIPELINES = { 'zhihu.pipelines.ZhihuPipeline': 300, }
多页获取
我们提取多页链接如下观察规律：
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=0&order=normal&status=open https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=10&order=normal&status=open https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=40&order=normal&status=open
每页数据展示数目由limit=10控制；翻页参数由page控制。
所以我们多页链接构造如下：
url = f'https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset={(page-1)*10}&order=normal&status=open'
数据下载
我们还是使用openpyxl将数据下载到Excel中然后做数据分析。
wb = Workbook() ws = self.wb.active ws.append(['作者首页', '作者名称', '评论时间', '点赞人数', '评论内容']) line = [item['photo'], item['name'], item['cmt_time'], item['stars'], item['comments']] ws.append(line) wb.save('../知乎.xlsx')
数据抓取成功部分展示如下：
数据清洗
接下来我们使用pandas对获取到的数据进行去重和去空等处理
pd.set_option('display.max_columns', None) # 显示完整的列 pd.set_option('display.max_rows', None) # 显示完整的行 pd.set_option('display.expand_frame_repr', False) # 设置不折叠数据 # 读取数据 rcv_data = pd.read_excel('../知乎.xlsx') # 删除重复记录和缺失值 rcv_data = rcv_data.drop_duplicates() rcv_data = rcv_data.dropna() # 抽样展示 print(rcv_data.sample(5)) ''' 138 看前面一条狗 无聊不 2021-03-01 14:18 0 意义不就在于你活着的这个过程吗？ 150 微笑面对人参 有些鸟儿是注定不会被关在牢笼里的 2021-06-12 10:28 0 根本没空思考这样的问题 352 优秀 十年营养护肤导师 2020-12-14 19:25 0 生命是在于你自己去寻找发现它的意义，如果你觉得毫无意义，那它就是毫无意义的 161 Ani 营销 2021-02-28 19:56 0 2021年了我还是没有想到问题的答案 294 喵姐姐 设计师 2021-01-04 20:15 0 就像稍纵即逝的烟火，虽然只是一瞬间，但是它存在过，生命的意义就在于当某个瞬间回顾自己的过去时... '''
词云展示
我们使用stylecloud来绘图，部分代码如下：
有兴趣的小伙伴可以参考：
如何使用python实现一个优雅的词云？（超详细）
def visual_ciyun(): pic = '../img.jpg' gen_stylecloud(text=result, icon_name='fab fa-android', font_path='msyh.ttc', background_color='white', output_name=pic, custom_stopwords=stop_words ) print('词云图绘制成功！')
知乎词频图
这里我们使用熊猫来读取数据,并去除空行。使用jieba制作分词
有兴趣的小伙伴可以参考
让人无法拒绝的pandas技巧，简单却好用到爆！
知乎评论出现频率最高的前十个词分别如下:
all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words] wordcount = Counter(all_words).most_common(10) x1_data, y1_data = list(zip(*wordcount)) print(x1_data) print(y1_data) ''' ('意义', '生命', '活着', '没有', '自己', '死亡', '问题', '我们', '存在', '如果') (116, 76, 59, 38, 27, 25, 24, 17, 16, 13) '''
词频气泡图
评论点赞最多
我们将所有评论按照点赞量从大到小排列如下：
评论时间
从时间轴可以分析出，这个问题在2018/08/02 14:26关注度达到了顶峰，
2018/08/03 01：51关注度随着时间推移开始下降
评论内容
前三评论如下：
我不喜欢整理床铺，我妈骂我，我说：反正要搞乱为啥要整理，我妈：你反正要饿，为啥要吃饭
这是个很有意义的问题，想了几年了，我还是没有很好的答案
活着只是为了活着，不为了任何别的
情感分析
我们以点赞最多评论为例分析观众对知乎的一些看法进行简单分析
我们是使用的库是SnowNLP
SnowNLP是一个基于Python的情感分析工具库，可以进行中文分词、词性标注、情感分析、文本分类、文本关键词提取等。
SnowNLP的情感值取值范围为0到1之间，值越大，说明情感倾向越积极。
pinglun = '活着只是为了活着，不为了任何别的' Sentiment_analysis = SnowNLP(pinglun).sentiments print(Sentiment_analysis) ''' 0.5941963504212545 '''
