python之爬取某网站图片附带源码,求精

简介: 爬取网站图片,自动保存命名,多次循环遍历

先上效果:

开始步骤:

1.百度找我喜欢的图片,太多了,慢慢来,哦哦哦——————-。终于黄天不负有心人,

2.找到了:

3.开搞:起来

   (1)伪装浏览器(俺用的FIDDLER抓包,模拟谷歌吧)

def hander_request1(url, page, i):

   url = url + str(i) + '.html'
   headers = {

       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36',


   }

   request = urllib.request.Request(url, headers=headers)

   return request


   # print(url)
   pass

   

2.正则拆分表单(这里写的复杂些)

part = re.compile(r'')

lt = part.findall(cont)

dirname = '美女'

# urllib.request.urlretrieve(str(lt), filepath)
print(lt)

url1 = str(lt).split('"')[1]

print(url1)

f1 = str(lt).split('"')[-2]

filename = f1

print(filename + ' 开始下载')

filepath = dirname + '/' + filename + '.jpg'
if not os.path.exists(dirname):

   os.mkdir(dirname)

# nt=mt.split()[0]


3.保存文件路径和名称

requset1 = urllib.request.Request(url=url1, headers=hd)

response1 = urllib.request.urlopen(requset1)

# urllib.request.urlretrieve(url1, filepath)
wenjianming = filename + '.jpg'
with open(wenjianming, 'wb') as fp:

   fp.write(response1.read())


# print(mt+'下载完成')
print(filename + ' 完成下载')


4.俺的图片都是分类的,套图得明白??

写了两个循环

def main():

   url = 'http://www.kantuba.net/guonei/'
   start_page = int(input('输入开始页码:'))

   end_page = int(input('请输入结束页码:'))

   #i网页计数器,可以用
   i = 0
   page = 0
   if start_page == 1:

       for i in range(10000, 10020):

           request = hander_request1(url, page, i)

           cont = urllib.request.urlopen(request).read().decode()

           download_image(cont)

           for page in range(start_page + 1, end_page):

               request = hander_request(url, page, i)

               cont = urllib.request.urlopen(request).read().decode()

               download_image(cont)

               # wenjianming = str(i) + str(page) + '.html'
               # with open(wenjianming, 'wb') as fp:
               #     fp.write(download_image(cont))
               #     # time.sleep(1)
               #     print(wenjianming + 'OK!')


   elif start_page != 1:

       for i in range(10000, 10020):

           for page in range(start_page, end_page):

               request = hander_request(url, page, i)

               cont = urllib.request.urlopen(request).read().decode()

               download_image(cont)


   pass


5.亲测效果杠杠的,拿走即可。拿回去只需要改正则表达式和URL。即可,被窝里看别忘了感谢我哦哦,啧啧啧!拿走不谢!

目录
相关文章
|
4天前
|
数据采集 存储 架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取!
在如今这个网购风云从不间歇的时代,购物狂欢持续不断,一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时,“如何省钱?”成为了大家最关心的问题。 比价、返利、优惠券都是消费者在网购时的刚需,但在这些“优惠”背后已产生灰色地带。
|
24天前
|
程序员 数据安全/隐私保护 计算机视觉
手把手教你用 Python 去除图片和 PDF 水印
手把手教你用 Python 去除图片和 PDF 水印
26 0
|
28天前
|
算法 Python 容器
Python编程 - 不调用相关choose库函数,“众数“挑选器、随机挑选器 的源码编程实现
Python编程 - 不调用相关choose库函数,“众数“挑选器、随机挑选器 的源码编程实现
30 0
|
3天前
|
供应链 JavaScript 前端开发
25个常见的python系统设计源码(python+mysql+vue)
25个常见的python系统设计源码(python+mysql+vue)
41 3
|
3天前
|
存储 算法 计算机视觉
在Python中实现图片转字符画
在Python中实现图片转字符画
7 1
|
4天前
|
数据采集 前端开发 JavaScript
Python爬虫之Ajax数据爬取基本原理#6
Ajax数据爬取原理【2月更文挑战第19天】
14 1
Python爬虫之Ajax数据爬取基本原理#6
|
20天前
|
存储 编译器 Python
python实战【外星人入侵】游戏并改编为【梅西vsC罗】(球迷整活)——搭建环境、源码、读取最高分及生成可执行的.exe文件
python实战【外星人入侵】游戏并改编为【梅西vsC罗】(球迷整活)——搭建环境、源码、读取最高分及生成可执行的.exe文件
|
20天前
|
人工智能 Go Python
Python 实现 五子棋小游戏【附源码】
Python 实现 五子棋小游戏【附源码】
21 0
|
20天前
|
定位技术 Python
用Python Tkinter打造的精彩连连看小游戏【附源码】
用Python Tkinter打造的精彩连连看小游戏【附源码】
26 0
|
20天前
|
Python
python实现贪吃蛇小游戏(附源码)
python实现贪吃蛇小游戏(附源码)
25 0

热门文章

最新文章

相关产品

  • 云迁移中心