手把手教你爬取天堂网1920*1080大图片(批量下载)——理论篇

简介:

/1 前言/

平时我们要下载图片,要要一个一个点击下载是不是觉得很麻烦?那有没有更加简便的方法呢?答案是肯定的,这里我们以天堂网为例,批量下载天堂网的图片。

/2 项目准备工作/

首先 我们第一步我们要安装一个pycham的软件。可以参考这篇文章:Python环境搭建—安利Python小白的Python和Pycharm安装详细教程。

天堂网的网址:

https://www.ivsky.com/bizhi/1920x1080/

我们需要下载几个库,怎么下载呢?打开pycharm,依次点击File,再点开Settings,如下图所示。
打开后会出现这个界面点击你的项目名字(project:(你的项目名字)),之后在project  interpreter下,点击加号,而后下载我们需要的库,如下图所示。
本项目需要用到的是库是requests、lxml、fake_useragent,如下图所示。fake_useragent一般是没有的,需要通过下面的命令进行安装:

pip install fake_useragent

/3 项目实现/

1. 导入需要的库(requests,lxml, fake_useragent)。

2. 我用了封装方法去实现各个部分的功能。首先要写一个框架:构造一个类TianTangWebsite ,然后定义一个__init__方法里继承(self),再定义一个主方法(main)。最后实现这个main方法,依次一步一步进行实现。

3. 我们把天堂网的网址拿过来,构造请求头。这里说一下这个UserAgent的获取方法。在打开天堂网的网站后,按下键盘上的F12键,之后会进入到开发者模式,之后点开network,如下图所示。
4. 而后随便点击一个name,复制header里边的UserAgent就可以了。 
  1. 我们点击下一页的地址观察网址的变化,如下所示:

https://www.ivsky.com/bizhi/1920x1080/index_2.html
https://www.ivsky.com/bizhi/1920x1080/index_3.html
https://www.ivsky.com/bizhi/1920x1080/index_4.html

很明显的发现,这个网址的网页数字一直在变化。我们可以用格式化{}去代替变化的值,类似这样:

https://www.ivsky.com/bizhi/1920x1080/index_{}.html

6. 然后我们用for循环去遍历这些网址,代码如下所示:

def main(self):

for i in range(1,2):#页数随机客户随便 设置
  url=self.url.format(i)
  print(url)
 7. 我们定义这个get_home()方法去请求到这个网址。
9. 我们需要解析得到的数据,接下来定义一个xiap的方法,拿到我们请求的网址。接下来就是该项目的关键了。

10. 至此,针对反爬虫的措施我们已经提前做好了准备,下一步将进行网页结构的分析以及网页图片地址数据的提取,并针对解析出来的图片地址予以批量下载,具体实现咱们下篇文章进行详解。

/4 小结/

本文主要内容为对图片网站进行了基本简介,基于 Python 中的爬虫库 requests 、lxml、fake_useragent,提前部署了请求头,模拟浏览器,针对反爬虫的措施我们已经提前做好了准备。

下篇文章将带大家进行网页结构的分析以及网页图片地址数据的提取,并针对解析出来的图片地址予以批量下载,敬请期待~~
相关文章
|
8月前
|
数据采集 机器学习/深度学习 数据可视化
分享68个Python爬虫源码总有一个是你想要的
分享68个Python爬虫源码总有一个是你想要的
280 0
|
5月前
PPT 图片8大操作技巧
PPT 图片8大操作技巧
34 0
|
8月前
|
数据采集 数据可视化 Java
分享66个Python爬虫源码总有一个是你想要的
分享66个Python爬虫源码总有一个是你想要的
356 1
|
数据采集 Web App开发 JavaScript
Python爬虫实战(5) | 爬取知网文献信息
Python爬虫实战(5) | 爬取知网文献信息
|
数据采集 IDE 开发工具
python爬虫入门教程:爬取网页图片
python爬虫入门教程:爬取网页图片
347 0
|
数据采集 XML 存储
Python爬虫在学习中整理的一些小技巧
如果你对工作不满意或对生活不满意,请不用抱怨,因为毫无用处,你只有努力提升技能,努力的完善自己,不断地向前奔跑,才会越来越好的!
|
数据采集 开发工具 Python
朋友很喜欢打篮球,我用Python爬取了1000张他喜欢的NBA球星图片送给他【内附源码】
朋友很喜欢打篮球,我用Python爬取了1000张他喜欢的NBA球星图片送给他【内附源码】
146 0
|
Web App开发 数据采集 Python
Python爬虫入门教程 5-100 27270图片爬取
获取待爬取页面 今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位,大家重点学习思路,有啥建议可以在评论的地方跟我说说。
1938 0
|
数据采集 Python 数据库管理
Python爬虫入门教程 26-100 知乎文章图片爬取器之二
1. 知乎文章图片爬取器之二博客背景 昨天写了知乎文章图片爬取器的一部分代码,针对知乎问题的答案json进行了数据抓取,博客中出现了部分写死的内容,今天把那部分信息调整完毕,并且将图片下载完善到代码中去。
2620 0