Selenium36万条数据告诉你：网易云音乐热评究竟有什么规律？

pip install selenium

import random
from selenium import webdriver
from icecream import ic
import time
import csv

https://music.163.com/#/song?id=28285910

# 下拉页面到最底部
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js)

# 获取所有评论列表 div标签
divs = driver.find_elements_by_css_selector('.itm')
print(len(divs))
 
'''
35
'''

for div in divs:
    user_name = div.find_element_by_css_selector('.cnt.f-brk a').text
    hot_cmts = div.find_element_by_css_selector('.cnt.f-brk').text.split('：')[1]
    cmts_time = div.find_element_by_css_selector('.time.s-fc4').text
 
    ic(user_name, hot_cmts, cmts_time)  
    
'''
ic| user_name: '什么事都让我分心'
    hot_cmts: '上个月你结婚了，新娘和你很般配，嗯。你从当年的小男生长成了大男孩。亲她的时候，我突然想起高二那个中午，你偷亲我，你不知道的是，其实当时我没有睡着。现在我也有了女朋友，准备明年结婚了，祝彼此幸福。'
    cmts_time: '2016年4月13日'
ic| user_name: '吴繁繁'
    hot_cmts: '枕在奶奶腿上听这首歌，奶奶七十多，像个好奇宝宝一样用手指小心地划着我的手机屏幕，看看歌词看看封面，把手机凑近耳朵听。时间是让人猝不及防的东西。'
    cmts_time: '2015年7月12日'
ic| user_name: 'jjjkkklllmmm'
    hot_cmts: '刚进大学寝室的时候，发现床板上有人用记号笔画了一张请假条，请假原因是毕业，离校时间是6.20，返校时间是永不。 其实老师唯一没骗我们的一句话就是'
    cmts_time: '2016年5月13日'
ic| user_name: '南说哦'
    hot_cmts: '大家都说我的性子很慢，其实我也可以很快 比如，后面有狗追我 或者，你在前面等我'
    cmts_time: '2017年5月21日'
ic| user_name: '_时光慢点_VI'
    hot_cmts: '听歌的时候，旋律永远是第一感觉，然后才是歌词，歌词过后才是细节。
               就像读小说，一开始只对剧情感兴趣，慢慢你开始琢磨小说中的人物，最后才发掘小说的内涵。'
    cmts_time: '2015年2月9日'
ic| user_name: '刘家鑫很蠢'
    hot_cmts: ('逛留言板上看到的一句话 "我对你这么好 你却总这样不冷不热的 可我毫无办法 谁叫一开始主动的人是我 偶尔也会想想 当我终于消失在追逐你的长途里 '
               '某个夜里你的手机微微一震 你会不会恍然地以为 还是我给你的温柔"一个恍惚瞬间戳到泪点。')
    cmts_time: '2016年4月26日'
'''

f = open('suiyue.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '用户名称',
    '评论时间',
    '评论内容'
])
 
dit = {
            '用户名称': user_name,
            '评论时间': cmts_time,
            '评论内容': hot_cmts
        }
        csv_writer.writerow(dit)

for page in range(1, 300+1):
    print(f'-------------正在抓取第{page}页-------------')
    time.sleep(random.random() * 3)  # 延时防止被反爬
    spider_page()
    # 点击翻页
    driver.find_element_by_css_selector('.znxt').click()

# 读取数据
rcv_data = pd.read_csv('./岁月神偷.csv', encoding='gbk')
 
# 删除重复记录
rcv_data = rcv_data.drop_duplicates()
# 删除缺失值
rcv_data = rcv_data.dropna()
 
# 抽样展示5条数据
print(rcv_data.sample(5))
 
'''
                 用户名称          评论时间                           评论内容
153   清风不识字何故乱翻书_2027  11月25日 22:21  时间是让人猝不及防的东西，我的青春，随着这首歌结束了。。。
1796            小花不快乐   9月21日 22:34                    对不起 是对我自己说的
610            烟非烟雨亦雨   11月9日 04:23                         [多多比耶]
1817            气氕氘氚氙   9月21日 11:02                             3Q
1048            颜颜柒柒柒  10月21日 00:38              还好嘛，现在是21年10月21日了
'''

# 词频设置
all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
wordcount = Counter(all_words).most_common(10)
 
'''
('我们', '时间', '一个', '喜欢', '现在', '没有', '真的', '自己', '一起', '知道')
(187, 168, 163, 156, 150, 142, 130, 115, 104, 95)
'''

gen_stylecloud(text=result,
                icon_name='fas fa-comment',
                font_path='msyh.ttc',
                background_color='white',
                output_name=pic,
                custom_stopwords=stop_words
                   )
    print('词云图绘制成功！')

def anay_data():
    all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
    positibe = negtive = middle = 0
    for i in all_words:
        pingfen = SnowNLP(i)
        if pingfen.sentiments > 0.7:
            positibe += 1
        elif pingfen.sentiments < 0.3:
            negtive += 1
        else:
            middle += 1
    print(positibe, negtive, middle)
  
'''
3856 881 11122
'''