Python爬虫篇:实现铃声采集

简介: Python爬虫篇:实现铃声采集

前言
大家好,我是辣条哥

本篇只是进行知识分享,切勿用作其他用途

本篇只是进行知识分享,切勿用作其他用途

本篇只是进行知识分享,切勿用作其他用途,重要的事情说三遍

目录
前言
工具准备
项目思路解析
简易源码分享
总结
工具准备
开发工具:pycharm
开发环境:python3.7, Windows10
使用工具包:requests,lxml

项目思路解析
最近在找一些视频的背景音乐,无意中找到了当前这个网址,里面的音频还是很全面的,种类也多,唯一美中不足的是当前这个页面是需要进行收米的,在对这个网页进行一些简单分析之后,发现当前这个网页的加密是没有做的很严格的,只要你稍稍会点技术就可以对其进行数据采集。
首先找到当前网页需要的音频页面数据,先获取到准确的数据页面信息

当前这个网页的音频数据都是需要进行付费下载的,但是这个网址渲染的页面是静态数据,对外有去暴露了他的MP3的播放地址,可以在当前页面直接抓包获取到,这个网页对鼠标右击进行禁用,可以使用快捷键f12打开当前的页面信息,定位到页面数据

可以看到这个就是我们想要的mp3的播放地址我们可以尝试在浏览器页面对这个网址进行访问看看能不能获取到我们想要的音频数据,复制mp3地址在页面进行访问

可以看到就是我们想要的网址数据信息,现在需要对当前网址发送请求获取到页面数据,进行数据的筛选。

url = 'https://www.tukuppt.com/peiyue/zonghe_0_0_0_0_0_0_8.html'

发送请求

response = requests.get(url)
1
2
3
发送网之后我们通过xpath进行数据的提取,xpath有自己独立的语法,我们需要对xpath语法进行简单的认识,一些基础定义语法格式。

表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
… 选取当前节点的父节点。
@ 选取属性。
通过独立的语法进行提取筛选,要是对语法不是特别熟练的可以通过浏览器上的xpath插件进行练习,能帮助大家更好的去认识xpath语法

提取出播放地址,以及音频的标题,因为之后我们是需要把数据保存在本地的,需要用中文来进行命名,在通过xpath语法进行提取就行,在使用xpath语法时需要注意,xpath是不能直接对html数据进行处理的,我们需要使用lxml的库将数据转换成对象数据
html_data = etree.HTML(response.text)
1
通过xpath所提取的数据为列表,我们可以通过循环的方式取出列表里的每个值,提取之后在次对音频播放地址发送请求,这个网址还需要拼接上https的请求协议,我们在网页上进行提取到的数据是没有请求协议的如果直接请求是会报错的,通过requests库再次发送请求,获取的音频数据是进制数据,将获取到的进制数据保存在本地。注意我们的数据写入时是进制数据,写入的模式为wb,到此大功告成

简易源码分享
++本篇文章只是进行知识分享,切勿用作其他用途++

import requests # 发送网络请求的工具包 库 底上库 模块
from lxml import etree # 转换数据的库

url = 'https://www.tukuppt.com/peiyue/zonghe_0_0_0_0_0_0_8.html'

发送请求

response = requests.get(url)

print(response.text)

筛选数据 html xpath 正则 bs4 css选择器 pyquery

html_data = etree.HTML(response.text)

print(html_data)

mp3_url_list = html_data.xpath('//div[@class="b-box"]/dl/audio/source/@src')
title_list = html_data.xpath('//div[@class="b-box"]/dl/dt[@class="info"]/a[@class="title"]/text()')

print(mp3_url_list) # 列表 [1,12,34,5]

for title, mp3_url in zip(title_list, mp3_url_list):

# print(title)
# print(mp3_url)
result = requests.get('https:' + mp3_url)
# print(result.content)
# 保存数据     服务器   数据库   mysql   mongodb    文本数据
# 文件操作    读取   read   r   写入  w    追加数据   a
with open('lingsheng/' + title + '.mp3', 'wb')as f:
    f.write(result.content)
    print('正在下载{}'.format(title))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
总结
不懂的或者说想要别的源码的,底下留言源码,或者直接找底下名片找我,再次提醒不能用来胡作非为,这是供大家学习参考的,最后祝大家学业有成

————————————————
版权声明:本文为CSDN博主「五包辣条!」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/AI19970205/article/details/124820300

目录
相关文章
|
2天前
|
数据采集 人工智能 数据可视化
Python selenium爬虫被检测到,该怎么破?
Python selenium爬虫被检测到,该怎么破?
|
2天前
|
数据采集 XML Web App开发
6个强大且流行的Python爬虫库,强烈推荐!
6个强大且流行的Python爬虫库,强烈推荐!
|
4天前
|
数据采集 存储 JavaScript
构建你的第一个Python爬虫:从理论到实践
【8月更文挑战第27天】本文旨在为初学者提供一个关于如何构建简单Python网络爬虫的指南。我们将从网络爬虫的基础概念讲起,然后通过一个实际的项目案例来展示如何抓取网页数据,并将其存储在本地文件中。文章将介绍必要的工具和库,并逐步引导读者完成一个简单的爬虫项目,以加深对网络数据抓取过程的理解。
|
3天前
|
数据采集 存储 XML
Python 爬虫实战:从入门到精通
【8月更文挑战第28天】本文将带你进入Python爬虫的世界,从基础概念到实战操作,一步步教你如何用Python编写一个高效的网络爬虫。你将学习到如何解析网页、提取数据、存储数据以及应对反爬策略等技能。无论你是初学者还是有一定经验的开发者,都能在这篇文章中找到有价值的信息和技巧。让我们一起探索Python爬虫的奥秘吧!
|
4天前
|
数据采集 存储 机器学习/深度学习
豆瓣评分7.6!Python大牛教你如何采集网络数据
网络数据采集大有所为。在大数据深入人心的时代,网络数据采集作为网络、数据库与机器学习等领域的交汇点,已经成为满足个性化网络数据需求的最佳实践。你在浏览器上看到的内容,大部分都可以通过编写Python 程序来获取。如果你可以通过程序获取数据,那么就可以把数据存储到数据库里。如果你可以把数据存储到数据库里,自然也就可以将这些数据可视化。 今天给小伙伴们分享的这份手册采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。
|
4天前
|
数据采集 存储 数据库
python爬虫知识
【8月更文挑战第27天】python爬虫知识
15 2
|
4天前
|
数据采集 机器学习/深度学习 人工智能
Python爬虫入门指南探索AI的无限可能:深度学习与神经网络的魅力
【8月更文挑战第27天】本文将带你走进Python爬虫的世界,从基础的爬虫概念到实战操作,你将学会如何利用Python进行网页数据的抓取。我们将一起探索requests库和BeautifulSoup库的使用,以及反爬策略的应对方法。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你打开一扇通往数据抓取世界的大门。
|
8天前
|
数据采集 存储 JSON
Python爬虫
【8月更文挑战第24天】
25 2
|
2天前
|
数据采集 程序员 测试技术
比 requests 更强大 Python 库,让你的爬虫效率提高一倍!
比 requests 更强大 Python 库,让你的爬虫效率提高一倍!
|
2天前
|
数据采集 存储 算法
深入浅出:用Python实现简单的Web爬虫
【8月更文挑战第29天】本文将引导你走进Web爬虫的世界,从基础原理到实战编码,我们将一步步构建一个简易的Python爬虫。不涉及复杂的算法和框架,只使用Python标准库中的模块。无论你是编程新手还是想扩展技能的开发者,这篇文章都将是你的理想选择。让我们一起探索数据获取的奥秘,并理解“你必须成为你希望在世界上看到的改变”这一哲理如何体现在技术实践中。
下一篇
云函数