Pyspider框架 —— Python爬虫实战之爬取 V2EX 网站帖子-阿里云开发者社区

开发者社区> 行者武松> 正文

Pyspider框架 —— Python爬虫实战之爬取 V2EX 网站帖子

简介:
+关注继续查看

背景:

PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。在线示例: http://demo.pyspider.org/

官方文档: http://docs.pyspider.org/en/l...

Github : https://github.com/binux/pysp...

本文爬虫代码 Github 地址:https://github.com/zhisheng17...

更多精彩文章可以在微信公众号:猿blog 阅读到,欢迎关注。

说了这么多,我们还是来看正文吧!

前提:

你已经安装好了Pyspider 和 MySQL-python(保存数据)

如果你还没安装的话,请看看我的前一篇文章,防止你也走弯路。

我所遇到的一些错误:

首先,本爬虫目标:使用 Pyspider 框架爬取 V2EX 网站的帖子中的问题和内容,然后将爬取的数据保存在本地。

V2EX 中大部分的帖子查看是不需要登录的,当然也有些帖子是需要登陆后才能够查看的。(因为后来爬取的时候发现一直 error ,查看具体原因后才知道是需要登录的才可以查看那些帖子的)所以我觉得没必要用到 Cookie,当然如果你非得要登录,那也很简单,简单地方法就是添加你登录后的 cookie 了。

我们在 https://www.v2ex.com/ 扫了一遍,发现并没有一个列表能包含所有的帖子,只能退而求其次,通过抓取分类下的所有的标签列表页,来遍历所有的帖子: https://www.v2ex.com/?tab=tech 然后是 https://www.v2ex.com/go/progr... 最后每个帖子的详情地址是 (举例): https://www.v2ex.com/t/314683...

创建一个项目

在 pyspider 的 dashboard 的右下角,点击 “Create” 按钮

替换 on_start 函数的 self.crawl 的 URL:


  1. @every(minutes=24 * 60) 
  2.     def on_start(self): 
  3.         self.crawl('https://www.v2ex.com/', callback=self.index_page, validate_cert=False)  
  • self.crawl 告诉 pyspider 抓取指定页面,然后使用 callback 函数对结果进行解析。
  • @every) 修饰器,表示 on_start 每天会执行一次,这样就能抓到最新的帖子了。
  • validate_cert=False 一定要这样,否则会报 HTTP 599: SSL certificate problem: unable to get local issuer certificate错误

首页:

点击绿色的 run 执行,你会看到 follows 上面有一个红色的 1,切换到 follows 面板,点击绿色的播放按钮:

 

第二张截图一开始是出现这个问题了,解决办法看前面写的文章,后来问题就不再会出现了。

Tab 列表页 :

在 tab 列表页 中,我们需要提取出所有的主题列表页 的 URL。你可能已经发现了,sample handler 已经提取了非常多大的 URL

代码:


  1. @config(age=10 * 24 * 60 * 60) 
  2.     def index_page(self, response): 
  3.         for each in response.doc('a[href^="https://www.v2ex.com/?tab="]').items(): 
  4.             self.crawl(each.attr.href, callback=self.tab_page, validate_cert=False)  
  • 由于帖子列表页和 tab列表页长的并不一样,在这里新建了一个 callback 为 self.tab_page
  • @config(age=10 24 60 * 60) 在这表示我们认为 10 天内页面有效,不会再次进行更新抓取

Go列表页 :

代码:


  1. @config(age=10 * 24 * 60 * 60) 
  2.  
  3. def tab_page(self, response): 
  4.  
  5. for each in response.doc('a[href^="https://www.v2ex.com/go/"]').items(): 
  6.  
  7. self.crawl(each.attr.href, callback=self.board_page, validate_cert=False)  

帖子详情页(T):

你可以看到结果里面出现了一些reply的东西,对于这些我们是可以不需要的,我们可以去掉。

同时我们还需要让他自己实现自动翻页功能。

代码:


  1. @config(age=10 * 24 * 60 * 60) 
  2.     def board_page(self, response): 
  3.         for each in response.doc('a[href^="https://www.v2ex.com/t/"]').items(): 
  4.             url = each.attr.href 
  5.             if url.find('#reply')>0: 
  6.                 url = url[0:url.find('#')] 
  7.             self.crawl(url, callback=self.detail_page, validate_cert=False
  8.         for each in response.doc('a.page_normal').items(): 
  9.             self.crawl(each.attr.href, callback=self.board_page, validate_cert=False) #实现自动翻页功能  

去掉后的运行截图:

实现自动翻页后的截图:

此时我们已经可以匹配了所有的帖子的 url 了。

点击每个帖子后面的按钮就可以查看帖子具体详情了。

代码:


  1. @config(priority=2) 
  2.     def detail_page(self, response): 
  3.         title = response.doc('h1').text() 
  4.         content = response.doc('div.topic_content').html().replace('"''\\"'
  5.         self.add_question(title, content)  #插入数据库 
  6.         return { 
  7.             "url": response.url, 
  8.             "title": title, 
  9.             "content": content, 
  10.         } 

插入数据库的话,需要我们在之前定义一个add_question函数。


  1. #连接数据库 
  2. def __init__(self): 
  3.         self.db = MySQLdb.connect('localhost''root''root''wenda', charset='utf8'
  4.  
  5.     def add_question(self, title, content): 
  6.         try: 
  7.             cursor = self.db.cursor() 
  8.             sql = 'insert into question(title, content, user_id, created_date, comment_count) values ("%s","%s",%d, %s, 0)' % (title, content, random.randint(1, 10) , 'now()');   #插入数据库的SQL语句 
  9.             print sql 
  10.             cursor.execute(sql) 
  11.             print cursor.lastrowid 
  12.             self.db.commit() 
  13.         except Exception, e: 
  14.             print e 
  15.             self.db.rollback()  

查看爬虫运行结果:

先debug下,再调成running。pyspider框架在windows下的bug

设置跑的速度,建议不要跑的太快,否则很容易被发现是爬虫的,人家就会把你的IP给封掉的

查看运行工作

查看爬取下来的内容

然后再本地数据库GUI软件上查询下就可以看到数据已经保存到本地了。

自己需要用的话就可以导入出来了。

在开头我就告诉大家爬虫的代码了,如果详细的看看那个project,你就会找到我上传的爬取数据了。(仅供学习使用,切勿商用!)

当然你还会看到其他的爬虫代码的了,如果你觉得不错可以给个 Star,或者你也感兴趣的话,你可以fork我的项目,和我一起学习,这个项目长期更新下去。

最后:

代码:


  1. # created by 10412 
  2. # !/usr/bin/env python 
  3. # -*- encoding: utf-8 -*- 
  4. # Created on 2016-10-20 20:43:00 
  5. # Project: V2EX 
  6.  
  7. from pyspider.libs.base_handler import * 
  8.  
  9. import re 
  10. import random 
  11. import MySQLdb 
  12.  
  13. class Handler(BaseHandler): 
  14.     crawl_config = { 
  15.     } 
  16.  
  17.     def __init__(self): 
  18.         self.db = MySQLdb.connect('localhost''root''root''wenda', charset='utf8'
  19.  
  20.     def add_question(self, title, content): 
  21.         try: 
  22.             cursor = self.db.cursor() 
  23.             sql = 'insert into question(title, content, user_id, created_date, comment_count) values ("%s","%s",%d, %s, 0)' % (title, content, random.randint(1, 10) , 'now()'); 
  24.             print sql 
  25.             cursor.execute(sql) 
  26.             print cursor.lastrowid 
  27.             self.db.commit() 
  28.         except Exception, e: 
  29.             print e 
  30.             self.db.rollback() 
  31.  
  32.  
  33.     @every(minutes=24 * 60) 
  34.     def on_start(self): 
  35.         self.crawl('https://www.v2ex.com/', callback=self.index_page, validate_cert=False
  36.  
  37.     @config(age=10 * 24 * 60 * 60) 
  38.     def index_page(self, response): 
  39.         for each in response.doc('a[href^="https://www.v2ex.com/?tab="]').items(): 
  40.             self.crawl(each.attr.href, callback=self.tab_page, validate_cert=False
  41.  
  42.  
  43.     @config(age=10 * 24 * 60 * 60) 
  44.     def tab_page(self, response): 
  45.         for each in response.doc('a[href^="https://www.v2ex.com/go/"]').items(): 
  46.             self.crawl(each.attr.href, callback=self.board_page, validate_cert=False
  47.  
  48.  
  49.     @config(age=10 * 24 * 60 * 60) 
  50.     def board_page(self, response): 
  51.         for each in response.doc('a[href^="https://www.v2ex.com/t/"]').items(): 
  52.             url = each.attr.href 
  53.             if url.find('#reply')>0: 
  54.                 url = url[0:url.find('#')] 
  55.             self.crawl(url, callback=self.detail_page, validate_cert=False
  56.         for each in response.doc('a.page_normal').items(): 
  57.             self.crawl(each.attr.href, callback=self.board_page, validate_cert=False
  58.  
  59.  
  60.     @config(priority=2) 
  61.     def detail_page(self, response): 
  62.         title = response.doc('h1').text() 
  63.         content = response.doc('div.topic_content').html().replace('"''\\"'
  64.         self.add_question(title, content)  #插入数据库 
  65.         return { 
  66.             "url": response.url, 
  67.             "title": title, 
  68.             "content": content, 
  69.         }  



作者:猿blog

来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
数据同步框架MS Sync Framework - IDE快速开发支持Local Database Cache
数据同步框架MS Sync Framework [术语、例子、参考资料、Tips] http://www.cnblogs.com/2018/archive/2011/02/22/1961654.html  数据同步框架MS Sync Framework-不同场景使用例子和简要分析 http://www.cnblogs.com/2018/archive/2011/02/23/1961657.html 以上两篇文章对框架的基础有了描述,通过IDE的提供Local Database Cache可以快速的实现一个常用的同步应用。
769 0
intellij idea搭建ssh开发框架之绑定数据源
原文: intellij idea搭建ssh开发框架之绑定数据源 在intellij idea中绑定数据源并生成hibernate实体对象。
1260 0
爬虫风险管理常见问题有哪些?
爬虫风险管理常见问题有哪些?
274 0
爬虫专题分析
爬虫专题已建立一周有余,做为管理员,也不能白占着位置不干活,今天通过爬虫得到的用户信息和收录文章信息,给大家分析下爬虫专题的优势与不足。 用户信息表 创建者 爬虫专题的创建者为向右奔跑,他同时也是@IT·互联网,今日看点的编辑;2015年9月23号入住简书,平均每天更新文章0.28篇;文章内容多为python爬虫和长跑;通过表,可以看出,每个字段信息都是遥遥领先于其他用户,有这个认真负责的创建者坐镇,大家不赶紧关注一波。
577 0
Web网站如何查看搜索引擎蜘蛛爬虫的行为
简介 本文给大家介绍Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为,清楚蜘蛛的爬行情况对做SEO优化有很大的帮助。需要的朋友通过本篇文章学习下吧 摘要 做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。
2544 0
实战:用Python实现随机森林
随机森林如何实现?为什么要用随机森林?看这篇足够了!
3534 0
基于python的Scrapy爬虫框架实战
基于python的Scrapy爬虫框架实战 2018年7月19日笔记 1.伯乐在线 网站页面如下图所示: 网站页面.png 1.1 新建爬虫工程 命令:scrapy startproject BoleArticle 新建爬虫工程命令 命令:scrapy genspider article "blog.jobbole.com" 注意:运行此命令时必须在爬虫工程文件夹内,如下图路径所示。
1287 0
+关注
行者武松
杀人者,打虎武松也。
17142
文章
2569
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载