python批量下载图片的三种方法

简介:   一是用微软提供的扩展库win32com来操作IE: win32com可以获得类似js里面的document对象,但貌似是只读的(文档都没找到)。   二是用selenium的webdriver: selenium则提供了Chrome,IE,FireFox等的支持,每种浏览器都有execute_script和find_element_by_xx方法,可以方便的执行js脚本(包括修改元素)和读取html里面的元素。

  一是用微软提供的扩展库win32com来操作IE:

win32com可以获得类似js里面的document对象,但貌似是只读的(文档都没找到)。

  二是用selenium的webdriver:

selenium则提供了Chrome,IE,FireFox等的支持,每种浏览器都有execute_script和find_element_by_xx方法,可以方便的执行js脚本(包括修改元素)和读取html里面的元素。不足是selenium只提供对python2.6和2.7的支持。

  三是用python自带的HTMLParser解析:

HTMLParser则是需要自己写个类继承基类,重写解析元素的方法。


1.win32com

 1 #将滚动条滑到底,最多滑动20000像素
 2 #模拟键盘右键,查看多张图片
 3 import sys
 4 import win32com.client,win32api
 5 import urllib.request
 6 import time
 7 import os
 8 def main():
 9     #获取参数
10     url=sys.argv[1]
11     #操作IE
12     ie=win32com.client.Dispatch("InternetExplorer.Application")
13     ie.Navigate(url)
14     ie.Visible=True
15     last_url=''
16     dir_name=''
17     while last_url!=url:
18         print('\nThe URL is:',url,'\n')
19         while ie.ReadyState != 4:    
20             time.sleep(1)
21         while ie.Document.readyState != "complete": 
22             time.sleep(1)
23         #滑动滚动条
24         win=ie.Document.parentWindow
25         lastY=-1;
26         for i in range(40):
27             win.scrollTo(0,500*i)
28             nowY=win.pageYOffset
29             if(nowY==lastY):
30                 break
31             lastY=nowY
32             time.sleep(0.4)
33         print('Document load state:',ie.Document.readyState)
34         doc=ie.Document
35         #第一次需要创建目录
36         if(dir_name==''):
37             root_dir='E:\\img'
38             dir_name=root_dir+'\\'+doc.title
39             dir_name=dir_name.replace('|','-')
40             if(os.path.exists(root_dir)!=True):
41                 os.mkdir(root_dir)
42             if(os.path.exists(dir_name)!=True):
43                 os.mkdir(dir_name)
44         all_image=doc.images
45         print('共有',all_image.length,'张图片')
46         count=0;
47         for img in all_image:
48             if(img.id=='b_img'):
49                 count=count+1
50                 print(count,img.src)
51                 time.sleep(1)
52                 img_file=urllib.request.urlopen(img.src)
53                 byte=img_file.read()
54                 print(count,'donwload complete!','-'*10,'size:','{:.3}'.format(byte.__len__()/1024),'KB')
55                 if(byte.__len__()>7000):
56                     file_name=img.src.replace('/','_')
57                     file_name=file_name.replace(':','_')
58                     end=file_name.__len__()
59                     if(file_name.rfind('!')!=-1):
60                         end=file_name.rfind('!')
61                     if(file_name.rfind('?')!=-1):
62                         end=file_name.rfind('?')
63                     file_name=file_name[:end]
64                     write_file=open(dir_name+'\\'+file_name,'wb')
65                     write_file.write(byte)
66                     write_file.close()
67                     print(count,file_name,'complete!')
68         #下一张
69         last_url=url
70         win32api.keybd_event(39,0)
71         time.sleep(1)
72         url=ie.Document.url
73         print(last_url,url)
74     #ie.Quit()
75 if __name__ == '__main__':
76     main()

2.selenium

 1 # -*- coding: cp936 -*-
 2 import sys
 3 import urllib
 4 import time
 5 import os
 6 from selenium import webdriver
 7 def main():
 8     #获取参数
 9     url=sys.argv[1]
10     #操作IE
11     driver=webdriver.Chrome()
12     driver.get(url)
13     driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
14     #创建目录
15     dir_name=driver.find_element_by_tag_name('title').text
16     print dir_name
17     root_dir='E:\\img'
18     dir_name=root_dir+'\\'+dir_name
19     dir_name=dir_name.replace('|','-')
20     if(os.path.exists(root_dir)!=True):
21         os.mkdir(root_dir)
22     if(os.path.exists(dir_name)!=True):
23         os.mkdir(dir_name)
24     images=driver.find_elements_by_tag_name('img')
25     count=0
26     for image in images:
27         count=count+1
28         image_url=str(image.get_attribute('src'))
29         img_file=urllib.urlopen(image_url)
30         byte=img_file.read()
31         print count,'donwload complete!','-'*10,'size:',byte.__len__()/1024,'KB'
32         if(byte.__len__()>7000):
33             file_name=image_url.replace('/','_')
34             file_name=file_name.replace(':','_')
35             end=file_name.__len__()
36             if(file_name.rfind('!')!=-1):
37                 end=file_name.rfind('!')
38             if(file_name.rfind('?')!=-1):
39                 end=file_name.rfind('?')
40             file_name=file_name[:end]
41             write_file=open(dir_name+'\\'+file_name,'wb')
42             write_file.write(byte)
43             write_file.close()
44             print count,file_name,'complete!'
45     driver.quit()
46 if __name__ == '__main__':
47     main()

3.HTMLParser:

 1 # import modules used here -- sys is a very standard one
 2 import sys
 3 import urllib.request
 4 # Gather our code in a main() function
 5 from html.parser import HTMLParser
 6 class MyHTMLParser(HTMLParser):
 7     def handle_starttag(self,tag,attrs):
 8         if(tag=='img'):
 9             for attr in attrs:
10                 if(attr[0]=='src'):
11                     img_file=urllib.request.urlopen(attr[1])
12                     byte=img_file.read()
13                     #文件大于1000b则生成文件,添加计数,下载多少图片,显示html代码
14                     if(byte.__len__()>1000):
15                         file_name=attr[1].replace('/','_')
16                         file_name=file_name.replace(':','_')
17                         end=file_name.__len__()
18                         if(file_name.rfind('!')!=-1):
19                             end=file_name.rfind('!')
20                         if(file_name.rfind('?')!=-1):
21                             end=file_name.rfind('?')
22                         file_name=file_name[:end]
23 ##                        print(file_name)
24                         write_file=open('E:\\img\\'+file_name,'wb')
25                         write_file.write(byte)
26                         write_file.close()
27 def main():
28     #获取参数
29     url=sys.argv[1]
30     print('\nThe URL is:',url,'\n')
31     #读取url所指向的资源
32     html_file=urllib.request.urlopen(url)
33     byte_content=html_file.read()
34     #将html网页保存起来
35     url_file=open('E:\\img\\html\\result.htm','wb')
36     url_file.write(byte_content)
37     url_file.close()
38     #从字节转换为字符串
39     s=str(byte_content, encoding = "utf-8")
40     #print(s)
41     #bytes.decode(html_file.read())
42     parser=MyHTMLParser(strict=False)
43     parser.feed(s)
44 # Standard boilerplate to call the main() function to begin
45 # the program.
46 if __name__ == '__main__':
47     main()

 


img_42a4adae4716d0e15c3eeaabfd040044.png

注:转载需注明出处及作者。

流柯      

目录
相关文章
|
11天前
|
JSON 数据可视化 API
Python 中调用 DeepSeek-R1 API的方法介绍,图文教程
本教程详细介绍了如何使用 Python 调用 DeepSeek 的 R1 大模型 API,适合编程新手。首先登录 DeepSeek 控制台获取 API Key,安装 Python 和 requests 库后,编写基础调用代码并运行。文末包含常见问题解答和更简单的可视化调用方法,建议收藏备用。 原文链接:[如何使用 Python 调用 DeepSeek-R1 API?](https://apifox.com/apiskills/how-to-call-the-deepseek-r1-api-using-python/)
|
3月前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
166 3
|
28天前
|
人工智能 自然语言处理 算法
随机的暴力美学蒙特卡洛方法 | python小知识
蒙特卡洛方法是一种基于随机采样的计算算法,广泛应用于物理学、金融、工程等领域。它通过重复随机采样来解决复杂问题,尤其适用于难以用解析方法求解的情况。该方法起源于二战期间的曼哈顿计划,由斯坦尼斯拉夫·乌拉姆等人提出。核心思想是通过大量随机样本来近似真实结果,如估算π值的经典示例。蒙特卡洛树搜索(MCTS)是其高级应用,常用于游戏AI和决策优化。Python中可通过简单代码实现蒙特卡洛方法,展示其在文本生成等领域的潜力。随着计算能力提升,蒙特卡洛方法的应用范围不断扩大,成为处理不确定性和复杂系统的重要工具。
69 21
|
26天前
|
数据挖掘 数据处理 开发者
Python3 自定义排序详解:方法与示例
Python的排序功能强大且灵活,主要通过`sorted()`函数和列表的`sort()`方法实现。两者均支持`key`参数自定义排序规则。本文详细介绍了基础排序、按字符串长度或元组元素排序、降序排序、多条件排序及使用`lambda`表达式和`functools.cmp_to_key`进行复杂排序。通过示例展示了如何对简单数据类型、字典、类对象及复杂数据结构(如列车信息)进行排序。掌握这些技巧可以显著提升数据处理能力,为编程提供更强大的支持。
32 10
|
2月前
|
安全
Python-打印99乘法表的两种方法
本文详细介绍了两种实现99乘法表的方法:使用`while`循环和`for`循环。每种方法都包括了步骤解析、代码演示及优缺点分析。文章旨在帮助编程初学者理解和掌握循环结构的应用,内容通俗易懂,适合编程新手阅读。博主表示欢迎读者反馈,共同进步。
|
3月前
|
算法 决策智能 Python
Python中解决TSP的方法
旅行商问题(TSP)是寻找最短路径,使旅行商能访问每个城市一次并返回起点的经典优化问题。本文介绍使用Python的`ortools`库解决TSP的方法,通过定义城市间的距离矩阵,调用库函数计算最优路径,并打印结果。此方法适用于小规模问题,对于大规模或特定需求,需深入了解算法原理及定制策略。
71 15
|
2月前
|
JSON 安全 API
Python调用API接口的方法
Python调用API接口的方法
410 5
WK
|
3月前
|
Python
Python中format_map()方法
在Python中,`format_map()`方法用于使用字典格式化字符串。它接受一个字典作为参数,用字典中的键值对替换字符串中的占位符。此方法适用于从字典动态获取值的场景,尤其在处理大量替换值时更为清晰和方便。
WK
148 36
|
3月前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用
本文探讨了强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用,通过案例分析展示了其潜力,并讨论了面临的挑战及未来发展趋势。强化学习正为游戏AI带来新的可能性。
216 4
|
3月前
|
Python
Python编程中的魔法方法(Magic Methods)
【10月更文挑战第40天】在Python的世界中,魔法方法就像是隐藏在代码背后的神秘力量。它们通常以双下划线开头和结尾,比如 `__init__` 或 `__str__`。这些方法定义了对象的行为,当特定操作发生时自动调用。本文将揭开这些魔法方法的面纱,通过实际例子展示如何利用它们来增强你的类功能。
55 1

热门文章

最新文章

推荐镜像

更多