网易云音乐评论爬虫(二):爬取全部热门歌曲及其对应的id号

本文涉及的产品
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介:

今天我给大家介绍一下用Python爬取网易云音乐全部歌手的热门歌曲.由于歌手个人主页的网页源代码中还嵌入了一个子网页(框架源代码里面包含了我们需要的信息),因此我们不能使用requests库来爬取,而使用selenium,接下来,让我详细讲解整个爬取过程.

一,构造歌手个人主页的URL

前段时间我们获取了网易云音乐全部歌手的id号,今天我们就利用全部歌手的id号来构造歌手个人主页的URL,从而实现用爬取全部歌手的热门歌曲及其id号的目的.以歌手 薛之谦的个人主页 为例,来看一下他的主页的URL为:

 
  1. https://music.163.com/#/artist?id=5781

因此只需要根据歌手对应的id就可以构造出歌手的个人主页,在歌手的个人主页我们能看到热门作品这一栏.网易云音乐全部歌手id号点击获取(csv文件)

https://github.com/zyingzhou/music163-spiders/blob/master/files/music163_artists.csv

二,分析网页源代码

现在我们就要用Python爬虫去爬取这些内容.如果你用requests库去爬取的话,返回的网页源代码中根本就没有这些信息.这时我们打开薛之谦的个人主页鼠标右键分别查看网页的源代码和查看框架的源代码.你会发现网页源代码和用requests库请求返回的源代码一摸一样(里面没有我们要爬取的信息),而在框架源代码中有我们要爬取的热门作品的信息,因此我们只需要将框架源代码爬取下来,然后再解析即可得到我们需要的歌手的热门作品的信息.

三,网页源代码和框架源代码的区别

网页源代码是指父级网页的源代码.另外网页中还有一种节点叫iframe,也就是子Frame,相当于网页的子页面,它的结构和外部网页的结构完全一致,框架源代码就是这个子网页的源代码.

四,获取框架源代码

这里我们使用selenium库来爬取,在selenium打开页面后,默认是在父级frame里面进行操作,而此时页面中还有子frame,它是不能获取到子frame里面的节点的,因此这时我们需要使用swith_to.frame()方法来切换到子frame中去,这时请求得到的代码就从网页源代码切换到了框架源代码,于是我们便能够提取我们需要的热门作品的信息了.通过歌手的个人主页的URL来爬取其框架源代码,具体爬取框架源代码的函数:

 
  1. def get_html_src(url):

  2. # 可以任意选择浏览器,前提是要配置好相关环境,更多请参考selenium官方文档

  3. driver = webdriver.Chrome()

  4. driver.get(url)

  5. # 切换成frame

  6. driver.switch_to_frame("g_iframe")

  7. # 休眠3秒,等待加载完成!

  8. time.sleep(3)

  9. page_src = driver.page_source

  10. driver.close()

  11. return page_src

返回结果为歌手个人主页的框架源代码,里面包含了我们需要的信息.

五,解析源代码

我们使用bs4库进行解析,需要的信息包含在HTML5的下面代码片段中:

 
  1. <span class="txt"><a href="/song?id=(\d*)"><b title="(.*?)">

因此可定义下面函数对其进行解析:

 
  1. def parse_html_page(html):

  2. # pattern = '<span class="txt"><a href="/song?id=(\d*)"><b title="(.*?)">'

  3. # 这里是使用lxml解析器进行解析,lxml速度快,文档容错能力强,也能使用html5lib

  4. soup = BeautifulSoup(html, 'lxml')

  5. items = soup.find_all('span', 'txt')

  6. return items

六,写入csv文件
 
  1. def write_to_csv(items, artist_name):

  2. with open("music163_songs.csv", "a") as csvfile:

  3. writer = csv.writer(csvfile)

  4. writer.writerow(["歌手名字", artist_name])

  5. for item in items:

  6. writer.writerow([item.a['href'].replace('/song?id=', ''), item.b['title']])

  7. print('歌曲id:', item.a['href'].replace('/song?id=', ''))

  8. song_name = item.b['title']

  9. print('歌曲名字:', song_name)

  10. csvfile.close()

七,读取csv文件,构造全部歌手的个人主页
 
  1. # 获取歌手id和歌手姓名

  2. def read_csv():

  3. with open("music163_artists.csv", "r", encoding="utf-8") as csvfile:

  4. reader = csv.reader(csvfile)

  5. for row in reader:

  6. artist_id, artist_name = row

  7. if str(artist_id) is "artist_id":

  8. continue

  9. else:

  10. yield artist_id, artist_name

  11. # 当程序的控制流程离开with语句块后, 文件将自动关闭

八,程序主函数
 
  1. # 主函数

  2. def main():

  3. for readcsv in read_csv():

  4. artist_id, artist_name = readcsv

  5. url = "https://music.163.com/#/artist?id=" + str(artist_id)

  6. print("正在获取{}的热门歌曲...".format(artist_name))

  7. html = get_html_src(url)

  8. items = parse_html_page(html)

  9. print("{}的热门歌曲获取完成!".format(artist_name))

  10. print("开始将{}的热门歌曲写入文件".format(artist_name))

  11. write_to_csv(items, artist_name)

  12. print("{}的热门歌曲写入到本地成功!".format(artist_name))


原文发布时间为:2018-10-20
本文作者:Jason zhou
本文来自云栖社区合作伙伴“ Python爱好者社区”,了解相关信息可以关注“ Python爱好者社区”。
相关文章
|
7月前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
216 0
|
7月前
|
数据采集 JavaScript 前端开发
实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库
实用工具推荐:适用于 TypeScript 网络爬取的常用爬虫框架与库
|
1月前
|
数据采集 Web App开发 监控
高效爬取B站评论:Python爬虫的最佳实践
高效爬取B站评论:Python爬虫的最佳实践
|
7月前
|
数据采集 中间件 Python
Scrapy爬虫:利用代理服务器爬取热门网站数据
Scrapy爬虫:利用代理服务器爬取热门网站数据
|
5月前
|
机器学习/深度学习 数据采集 自然语言处理
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
|
5月前
|
数据采集 大数据 关系型数据库
如何使用 PHP 爬虫爬取大数据
**摘要:** 本文探讨了如何使用PHP爬虫处理大数据。从爬虫基本概念出发,讨论了PHP爬虫框架如Goutte和PHP-Crawler。在爬取大数据时,需明确目标网站、数据类型和量,编写爬虫程序,包括数据提取、反爬策略如设置User-Agent和访问频率控制。同时,采用并发处理(多线程)和分布式爬虫策略提升效率。最后,强调了合法合规使用爬虫技术的重要性。
|
6月前
|
数据采集 存储 NoSQL
Java爬虫-爬取疫苗批次信息
为了解决疫苗批号查询难题,作者因个人情况需查询脊髓灰质炎灭活疫苗信息,发现官网查询系统不便使用。于是,技术大展身手,编写了一个Java爬虫,利用Hutool、Jsoup和Spring Boot的MongoDB库,抓取并存储了中国食品药品检定研究院等多家机构近十年的疫苗批次信息。代码示例展示了如何爬取数据并存入MongoDB,方便按需查询。
86 0
|
7月前
|
数据采集 存储 JavaScript
Buzz库网络爬虫实例:快速爬取百度搜索实时热点
Buzz库网络爬虫实例:快速爬取百度搜索实时热点
|
7月前
|
数据采集 Web App开发 开发者
探秘Python爬虫技术:王者荣耀英雄图片爬取
探秘Python爬虫技术:王者荣耀英雄图片爬取
|
7月前
|
数据采集 存储 测试技术
C语言高效的网络爬虫:实现对新闻网站的全面爬取
C语言高效的网络爬虫:实现对新闻网站的全面爬取