AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python通过代理多线程抓取图片

2019-02-13 1786
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 前言Python作为一门功能强大的脚本语言，经常被用来写爬虫程序，下面是Python通过代理多线程抓取图片代码 Python爬虫多线程抓取代理服务器参考： http://www.linuxeye.com/program/1763.

前言
Python作为一门功能强大的脚本语言，经常被用来写爬虫程序，下面是Python通过代理多线程抓取图片代码

Python爬虫多线程抓取代理服务器参考： http://www.linuxeye.com/program/1763.html
说明：

  1. 多线程方式抓取代理服务器，并多线程验证代理服务器

ps 代理服务器是从http://www.cnproxy.com/ （测试只选择了8个页面）抓取

  1. 抓取一个网站的图片地址，多线程随机取一个代理服务器下载图片

ps 图片网站地址:http://www.ivsky.com（测试只选择了有限的页面数）

#!/usr/bin/env python
#BLOG:blog.linuxeye.com
#coding:utf-8

import urllib2
import re
import threading
import time
import random

rawProxyList = []
checkedProxyList = []
imgurl_list = []

#抓取代理网站
portdicts ={'v':"3",'m':"4",'a':"2",'l':"9",'q':"0",'b':"5",'i':"7",'w':"6",'r':"8",'c':"1"}
targets = []
for i in xrange(1,9):
        target = r"http://www.cnproxy.com/proxy%d.html" % i
        targets.append(target)
#print targets

#抓取代理服务器正则
p = re.compile(r'''<tr><td>(.+?)<SCRIPT type=text/javascript>document.write\(":"\+(.+?)\)</SCRIPT></td><td>(.+?)</td><td>.+?</td><td>(.+?)</td></tr>''')

#获取代理的类
class ProxyGet(threading.Thread):
    def __init__(self,target):
        threading.Thread.__init__(self)
        self.target = target

    def getProxy(self):
        print "代理服务器目标网站： " + self.target
        req = urllib2.urlopen(self.target)
        result = req.read()
        #print chardet.detect(result)
        matchs = p.findall(result)
        for row in matchs:
            ip=row[0]
            port =row[1]
            port = map(lambda x:portdicts[x],port.split('+'))
            port = ''.join(port)
            agent = row[2]
            addr = row[3].decode("cp936").encode("utf-8")
            proxy = [ip,port,addr]
            #print proxy
            rawProxyList.append(proxy)

    def run(self):
        self.getProxy()

#检验代理的类
class ProxyCheck(threading.Thread):
    def __init__(self,proxyList):
        threading.Thread.__init__(self)
        self.proxyList = proxyList
        self.timeout = 5
        self.testUrl = "http://www.baidu.com/"
        self.testStr = "030173"

    def checkProxy(self):
        cookies = urllib2.HTTPCookieProcessor()
        for proxy in self.proxyList:
            proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(proxy[0],proxy[1])})
            #print r'http://%s:%s' %(proxy[0],proxy[1])
            opener = urllib2.build_opener(cookies,proxyHandler)
            opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')] 
            #urllib2.install_opener(opener)
            t1 = time.time()

            try:
                #req = urllib2.urlopen("http://www.baidu.com", timeout=self.timeout)
                req = opener.open(self.testUrl, timeout=self.timeout)
                #print "urlopen is ok...."
                result = req.read()
                #print "read html...."
                timeused = time.time() - t1
                pos = result.find(self.testStr)
                #print "pos is %s" %pos

                if pos > 1:
                    checkedProxyList.append((proxy[0],proxy[1],proxy[2],timeused))
                    #print "ok ip: %s %s %s %s" %(proxy[0],proxy[1],proxy[2],timeused)
                else:
                     continue
            except Exception,e:
                #print e.message
                continue

    def run(self):
        self.checkProxy()

#获取图片地址函数
def imgurlList(url_home):
    global imgurl_list
    home_page = urllib2.urlopen(url_home)
    url_re = re.compile(r'<li><a href="(.+?)" target="_blank" rel="nofollow">')
    pic_re = re.compile(r'<img src="(.*?\.\w{3,4})"')
    url_list = re.findall(url_re,home_page.read())
    for url in url_list:
        #print url_home+url
        url_page = urllib2.urlopen(url_home+url)
        for imgurlList in re.findall(pic_re,url_page.read()):
            imgurl_list.append(imgurlList)

#下载图片的类
class getPic(threading.Thread):
    def __init__(self,imgurl_list):
        threading.Thread.__init__(self)
        self.imgurl_list = imgurl_list 
        self.timeout = 5
    def downloadimg(self):
        for imgurl in self.imgurl_list:
            pic_suffix = imgurl.split('.')[-1] #获取图片后缀
            pic_name = str(random.randint(0,10000000000))+'.'+pic_suffix
            cookies = urllib2.HTTPCookieProcessor()
            randomCheckedProxy = random.choice(checkedProxyList) #随机取一组代理服务器
            proxyHandler = urllib2.ProxyHandler({"http" : r'http://%s:%s' %(randomCheckedProxy[0],randomCheckedProxy[1])})
            opener = urllib2.build_opener(cookies,proxyHandler)
            opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0')]
            urllib2.install_opener(opener)
            try:
                data_img = opener.open(imgurl,timeout=self.timeout)
                f = open (pic_name,'wb')
                f.write(data_img.read())
                f.close()
            except:
                continue
    def run(self):
        self.downloadimg()

if __name__ == "__main__":
    getThreads = []
    checkThreads = []
    imgurlList('http://www.ivsky.com')
    getPicThreads = []

#对每个目标网站开启一个线程负责抓取代理
for i in range(len(targets)):
    t = ProxyGet(targets[i])
    getThreads.append(t)

for i in range(len(getThreads)):
    getThreads[i].start()

for i in range(len(getThreads)):
    getThreads[i].join()

print '.'*10+"总共抓取了%s个代理" %len(rawProxyList) +'.'*10

#开启20个线程负责校验，将抓取到的代理分成20份，每个线程校验一份
for i in range(20):
    t = ProxyCheck(rawProxyList[((len(rawProxyList)+19)/20) * i:((len(rawProxyList)+19)/20) * (i+1)])
    checkThreads.append(t)

for i in range(len(checkThreads)):
    checkThreads[i].start()

for i in range(len(checkThreads)):
    checkThreads[i].join()

print '.'*10+"总共有%s个代理通过校验" %len(checkedProxyList) +'.'*10

#开启20个线程随机取一个代理下载图片
for i in range(20):
    t = getPic(imgurl_list[((len(imgurl_list)+19)/20) * i:((len(imgurl_list)+19)/20) * (i+1)])
    getPicThreads.append(t)

for i in range(len(getPicThreads)):
    getPicThreads[i].start()

for i in range(len(getPicThreads)):
    getPicThreads[i].join()

print '.'*10+"总共有%s个图片下载" %len(imgurl_list) +'.'*10

#代理排序持久化
f= open("proxy_list.txt",'w+')
for proxy in sorted(checkedProxyList,cmp=lambda x,y:cmp(x[3],y[3])):
    #print "checked proxy is: %s:%s\t%s\t%s" %(proxy[0],proxy[1],proxy[2],proxy[3])
    f.write("%s:%s\t%s\t%s\n"%(proxy[0],proxy[1],proxy[2],proxy[3]))
f.close()

小编推荐一个学python的学习qun 491308659 验证码：南烛

无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！

测试结果：

# ls
proxy_getpic.py
# python proxy_getpic.py
代理服务器目标网站： http://www.cnproxy.com/proxy1.html
代理服务器目标网站： http://www.cnproxy.com/proxy2.html
代理服务器目标网站： http://www.cnproxy.com/proxy3.html
代理服务器目标网站： http://www.cnproxy.com/proxy4.html
代理服务器目标网站： http://www.cnproxy.com/proxy5.html
代理服务器目标网站： http://www.cnproxy.com/proxy6.html
代理服务器目标网站： http://www.cnproxy.com/proxy7.html
代理服务器目标网站： http://www.cnproxy.com/proxy8.html
..........总共抓取了800个代理..........
..........总共有458个代理通过校验..........
..........总共有154个图片下载..........
# cat proxy_list.txt | more
173.213.113.111:3128    United States   0.432188987732
173.213.113.111:8089    United States   0.441318035126
173.213.113.111:7808    United States   0.444597005844
110.4.24.170:80 香港 香港移动通讯有限公司       0.489440202713
211.142.236.135:8080    湖南省株洲市 移动       0.490673780441
211.142.236.135:8081    湖南省株洲市 移动       0.518096923828
211.142.236.135:8000    湖南省株洲市 移动       0.51860499382
211.142.236.135:8082    湖南省株洲市 移动       0.520448207855
# ls
1001117689.jpg  3097883176.jpg  5234319709.jpg  7012274766.jpg  8504924248.jpg
1076458640.jpg  3144369522.jpg  5387877704.jpg  7106183143.jpg  867723868.jpg
1198548712.jpg  3161307031.jpg  5572092752.jpg  7361254661.jpg  8746315373.jpg
165738192.jpg   3228008315.jpg  5575388077.jpg  7389537793.jpg  8848973192.jpg
1704512138.jpg  3306931164.jpg  5610740708.jpg  7407358698.jpg  8973834958.jpg
1742167711.jpg  3320152673.jpg  5717429022.jpg  7561176207.jpg  8976862152.jpg
文章标签：
Python
Web App开发
关键词：
Python线程
Python多线程
Python抓取
Python图片
Python代理
qun 634492606
目录
相关文章
shliang0603
|
23天前
|
计算机视觉 Windows Python
windows下使用python + opencv读取含有中文路径的图片 和 把图片数据保存到含有中文的路径下
在Windows系统中，直接使用`cv2.imread()`和`cv2.imwrite()`处理含中文路径的图像文件时会遇到问题。读取时会返回空数据，保存时则无法正确保存至目标目录。为解决这些问题，可以使用`cv2.imdecode()`结合`np.fromfile()`来读取图像，并使用`cv2.imencode()`结合`tofile()`方法来保存图像至含中文的路径。这种方法有效避免了路径编码问题，确保图像处理流程顺畅进行。
shliang0603
122 1
小周sir
|
12天前
|
API Python
探索Python中的多线程编程
探索Python中的多线程编程
小周sir
33 5
wljslmz
|
22天前
|
调度 Python
Python 中如何实现多线程？
【8月更文挑战第29天】
wljslmz
40 6
请看我回答~
|
20天前
|
数据采集 JavaScript 前端开发
构建简易Python爬虫：抓取网页数据入门指南
【8月更文挑战第31天】在数字信息的时代，数据抓取成为获取网络资源的重要手段。本文将引导你通过Python编写一个简单的网页爬虫，从零基础到实现数据抓取的全过程。我们将一起探索如何利用Python的requests库进行网络请求，使用BeautifulSoup库解析HTML文档，并最终提取出有价值的数据。无论你是编程新手还是有一定基础的开发者，这篇文章都将为你打开数据抓取的大门。
请看我回答~
33 1
Python大数据分析
|
23天前
|
数据安全/隐私保护 Python Windows
三种方法，Python轻松提取PDF中全部图片
三种方法，Python轻松提取PDF中全部图片
Python大数据分析
24 3
shliang0603
|
23天前
|
存储 编解码 API
python多种方法压缩图片，opencv、PIL、tinypng、pngquant压缩图片
python多种方法压缩图片，opencv、PIL、tinypng、pngquant压缩图片
shliang0603
20 1
请看我回答~
|
20天前
|
数据采集 JavaScript 前端开发
构建你的第一个Python爬虫：抓取网页数据入门指南
【8月更文挑战第31天】在数字时代，数据是新的石油。本文将引导初学者通过简单的步骤，使用Python编程语言创建一个基础的网络爬虫程序。我们将探索如何从网络上提取信息，并理解背后的原理。无论你是编程新手还是想要扩展你的技术工具箱，这篇文章都将为你提供一条清晰的道路，让你学会编写能够自动获取网络数据的脚本。准备好开始你的网络数据抓取之旅了吗？让我们现在就开始吧！
请看我回答~
29 0
请看我回答~
|
20天前
|
数据采集 JavaScript 前端开发
Python 爬虫实战：抓取和解析网页数据
【8月更文挑战第31天】本文将引导你通过Python编写一个简单的网络爬虫，从网页中抓取并解析数据。我们将使用requests库获取网页内容，然后利用BeautifulSoup进行解析。通过本教程，你不仅能够学习到如何自动化地从网站收集信息，还能理解数据处理的基本概念。无论你是编程新手还是希望扩展你的技术工具箱，这篇文章都将为你提供有价值的见解。
请看我回答~
34 0
请看我回答~
|
20天前
|
数据采集 存储 JavaScript
构建你的首个Python网络爬虫：抓取、解析与存储数据
【8月更文挑战第31天】在数字时代的浪潮中，数据成为了新的石油。了解如何从互联网的海洋中提取有价值的信息，是每个技术爱好者的必备技能。本文将引导你通过Python编程语言，利用其强大的库支持，一步步构建出你自己的网络爬虫。我们将探索网页请求、内容解析和数据存储等关键环节，并附上代码示例，让你轻松入门网络数据采集的世界。
请看我回答~
80 0
shliang0603
|
23天前
|
数据可视化 Python
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
通过python建立一个web服务查看服务器上的文本、图片、视频等文件
shliang0603
22 0

热门文章

最新文章

  • 1
    Python 第2章 基本数据类型课后习题参考答案
  • 2
    Python入门教程：内置函数—Map、Reduce、Filter
  • 3
    ?python __future__ package的几个特性
  • 4
    【Python】fastapi框架之Web部署机器学习模型
  • 5
    【机器学习算法-python实现】svm支持向量机(1)—理论知识介绍
  • 6
    CentOS 7-(64位)系统下安装Anaconda（Python3.x）及pip使用
  • 7
    python if语句
  • 8
    Python之pickle序列化
  • 9
    第24讲 python文件的写操作基础
  • 10
    Python查询Google PageRank
  • 1
    thread（线程）
    49
  • 2
    Java串口通信技术探究3：RXTX库线程 优化系统性能的SerialPortEventListener类
    464
  • 3
    JAVA难点包括异常处理、多线程、泛型和反射，以及复杂的分布式系统知识
    80
  • 4
    深入理解Java并发编程：线程安全与性能优化
    72
  • 5
    Java并发编程：深入理解线程池
    32
  • 6
    Redis 线程模型
    46
  • 7
    Java并发编程：深入理解线程池
    39
  • 8
    Java多线程编程实战：从入门到精通
    80
  • 9
    c++多线程——互斥锁
    57
  • 10
    【Flutter前端技术开发专栏】Flutter中的线程与并发编程实践
    151

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
  • Python网络通信程序典型应用
  • 云端Python及基本操作

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • linuxmint-packages
    • 下一篇
    通义千问API入门教程