之前用的一个多进程python爬虫

简介: 版权声明:本文可能为博主原创文章,若标明出处可随便转载。 https://blog.
版权声明:本文可能为博主原创文章,若标明出处可随便转载。 https://blog.csdn.net/Jailman/article/details/77573959
#!C:\Python27\python.exe
#coding=utf8

import os
import urllib
import urllib2
from bs4 import BeautifulSoup
from multiprocessing import Pool

import socket
socket.setdefaulttimeout(60)


def url_open(url):
    user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36'
    headers = {'User-Agent': user_agent}
    request = urllib2.Request(url=url, headers=headers)
    try:
        page = urllib2.urlopen(request, timeout=60)
    except urllib2.HTTPError as e:
        return 1
    contents = page.read()
    # print contents
    soup = BeautifulSoup(contents.decode('gb2312','ignore'), "lxml")
    return soup

def retrieve_img(dir, link):
    if url_open(link) != 1:
        soup = url_open(link)
        for line in soup.find_all("div", "ContentBox"):
            img_list = line.find_all('img')
            for img_item in img_list:
                raw_img = img_item.get('src')
                img_url = 'http:' + raw_img
                img_name = raw_img.split('/')[-1]
                print "Download: %s" % img_url
                # print img_name
                urllib.urlretrieve(img_url, dir + '\\' + img_name)

def crawler(root, url):
        # print url
        if url_open(url) != 1:
            soup = url_open(url)
            # print soup
            for line in soup.find_all("div", "box_con newslist"):
                li = line.find_all('li')
                for a in li:
                    href = a.find_all('a')
                    link = root + href[0].get('href')
                    text = href[0].get_text()
                    # print link
                    print "Creating directory %s..." % text
                    if not os.path.isdir(text):
                        try:
                            os.mkdir(text)
                            if os.path.isdir(text):
                                print "Directory %s successfully created!" % text
                                print "Crawling image page %s." % link
                                retrieve_img(text, link)
                        except IOError, e:
                            print e
                    elif os.path.isdir(text):
                        print "Directory %s already exists!" % text
                        print "Crawling image page %s." % link
                        retrieve_img(text, link)

                    # break #func test


def single_func(num):
    root = 'http://xxx.com'
    url = "http://xxx.com/articlelist/?20-" + str(num) + '.html'
    crawler(root, url)

if __name__ == '__main__':
    # single_func(1) #func test
    pool = Pool(processes=8)
    for i in range(1, 187):
        result = pool.apply_async(single_func, (i,))
    pool.close()
    pool.join()
    if result.successful():
        print 'Successful!'

目录
相关文章
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
数据采集 Web App开发 自然语言处理
新闻热点一目了然:Python爬虫数据可视化
新闻热点一目了然:Python爬虫数据可视化
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比:从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优,适合快速开发与中小型项目;而Go凭借高并发和高性能优势,适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试,分析了两者在并发能力、错误处理、部署维护等方面的差异,并探讨了未来融合发展的趋势。
1411 0
|
数据采集 监控 数据库
Python异步编程实战:爬虫案例
🌟 蒋星熠Jaxonic,代码为舟的星际旅人。从回调地狱到async/await协程天堂,亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验,助你驾驭并发,在二进制星河中谱写极客诗篇。
Python异步编程实战:爬虫案例
|
数据采集 存储 XML
Python爬虫技术:从基础到实战的完整教程
最后强调: 父母法律法规限制下进行网络抓取活动; 不得侵犯他人版权隐私利益; 同时也要注意个人安全防止泄露敏感信息.
1338 19
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
数据采集 存储 Web App开发
处理Cookie和Session:让Python爬虫保持连贯的"身份"
处理Cookie和Session:让Python爬虫保持连贯的"身份"
|
数据采集 存储 XML
Python爬虫入门(1)
在互联网时代,数据成为宝贵资源,Python凭借简洁语法和丰富库支持,成为编写网络爬虫的首选。本文介绍Python爬虫基础,涵盖请求发送、内容解析、数据存储等核心环节,并提供环境配置及实战示例,助你快速入门并掌握数据抓取技巧。
|
数据采集 存储 JSON
地区电影市场分析:用Python爬虫抓取猫眼/灯塔专业版各地区票房
地区电影市场分析:用Python爬虫抓取猫眼/灯塔专业版各地区票房
|
数据采集 存储 JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储,用于标识用户;Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。

推荐镜像

更多