技术上碾压对手
外貌上惊艳对手
中国奥运健儿们真是又美又能打！
带你一看
中国运动员有多漂亮
需求分析
网友们都在微博上说了啥？
看这里
▼
之气那我们也有分析过B站的弹幕，有兴趣的小伙伴可以看看这里
B站弹幕| 考完试，这辈子，这个班，基本是聚不齐了......
首先我们打开B站找到我们要找的视频。
F12打开浏览器开发者模式，找到如下链接。
经过测试发现，目前它是通过Js经行渲染的，想通了这一点，那就可以马上去找接口了。
可以看到我们所有的评论信息全在在一个不规则的json文件当中
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496820&jsonp=jsonp&next=2&type=1&oid=674425220&mode=3&plat=1&_=1627894506606 https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496821&jsonp=jsonp&next=3&type=1&oid=674425220&mode=3&plat=1&_=1627894508981 https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496822&jsonp=jsonp&next=4&type=1&oid=674425220&mode=3&plat=1&_=1627894510667 https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496823&jsonp=jsonp&next=5&type=1&oid=674425220&mode=3&plat=1&_=1627894567580
从上面的URL地址以及图片，可以看出一共有8个查询参数。
callback：每加载出一次便加1操作。
next：每加载一次便加1操作，next是从0开始加载的。
_：13位的时间戳。
发送请求
我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取具体的
评论者、性别、评论时间、点赞人数和具体的评论内容
url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}' headers = { "cookie": "_uuid=BA408FD2-1B4E-DCB0-1CBE-71233AE9FB2918358infoc; buvid3=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; sid=ld1hsb9h; fingerprint=84acc3579a53d0eba78d769e71574df6; buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=40011147%2C1643348516%2Ce493c*81; bili_jct=1d136ab44a600313299942bf8f6b8f95; CURRENT_FNVAL=80; blackside_state=1; rpdid=|(u)YJR~R~)m0J'uYk~~mY~Y); bsource=search_baidu; PVID=1; bfe_id=393becc67cde8e85697ff111d724b3c8", 'referer': 'https://www.bilibili.com/video/BV1uU4y1H7wL', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.8 Safari/537.36' } resp = requests.get(url, headers=headers) ic(resp.text)
前面说到我们获取的这个json格式的数据集不是一个标准的json
就是因为前面多了一串
‘jQuery172009047692616139114_1627891325400’
所以我们先将获取到的数据集转为标准的json格式。
如下：
# 获取resp响应 text = resp.text[42:-1] # 转换json格式 json_data = json.loads(text) # 获取所有评论 datas = json_data['data']['replies'] ic(datas)
接下来我们要获取的就是那些评论信息等
for item in datas: # 评论者 name = item['member']['uname'] # 性别 sex = item['member']['sex'] # 评论时间 ctime = item.get('ctime') content_time = time.strftime('%Y-%m-%d %H:%M', time.localtime(ctime)) # 点赞人数 star = item['like'] # 评论内容 cmts = item['content']['message'] ic(name, sex, content_time, star, cmts)
实现翻页
在前面所描述的内容，都只是一页的数据，因此，接下来我要实现类于翻页的效果。
其实只要修改我上面所描述的3个查询参数即可。
测试数据我们就先取200页。
for page in range(1, 200 + 1): time_thick = int(time.time() * 1000) url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'
保存数据
最后将爬取下来的数据，使用openpyxl保存至Excel文件中，总共得到4000条测试数据。
数据处理
这里我们使用熊猫来读取数据,并去除空行
使用jieba制作分词
rcv_data = pd.read_excel('哔哩哔哩.xlsx') exist_col = rcv_data.dropna() # 删除空行 c_title = exist_col['评论内容'].tolist() # 观影评论词云图 wordlist = jieba.cut(''.join(c_title)) result = ' '.join(wordlist)
可视化
最后我们使用stylecloud来生成多样形式的词云
gen_stylecloud(text=result, icon_name='fas fa-table-tennis', font_path='msyh.ttc', background_color='white', output_name=pic, custom_stopwords=['啊', '的', '也', '了', '我', '是', '吗', '都', '就', '你', '不', '真的', '有', '这', '没有', '他们', '还有', '说', '封面'] ) print('绘图成功！')
