一步步教你利用Github开源项目实现网络爬虫:以抓取证券日报新闻为例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

在学习编程的过程中,初学者(特别是想转行互联网的来自其它专业的初学者)往往因为缺乏实际项目的操作而陷入基础学习的环境中无法自拔,在学习Python的过程中,笔者最初也是一直停留在不断地print、列表、数组、各种数据结构的学习里,当然基础知识的学习很重要,但是没有项目的实际操作,往往无法得到提高并会心生厌倦,为了应对这个问题,接下来专栏将从Github开源项目选取一些比较有意思的项目,来为大家说明如何开展项目,如何安装环境,如何debug,如何找到解决问题的方法......

我们以抓取财经新闻的爬虫为例,默认centos系统、Python2.7环境,并且已经安装pyenv,如未安装pyenv请参考:

基于pyenv和virtualenv搭建python多版本虚拟环境

项目作者: 
Hailong Zhang 
项目地址: 
Scrapy Spider for 各种新闻网站 
感谢作者开源

1. 首先准备项目开发环境

$cd /home/andy/.pyenv/ENV2.7.10 
$ mkdir works 
$ cd works 
$ pyenv activate ENV2.7.10 
$ sudo yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y
$ sudo yum install python-setuptools

2. 依次安装pip、lxml、scrapy

$ easy_install pip 
$ easy_install lxml 
$ pip install scrapy

3. 从github克隆项目

$ mkdir spiders 
$ git clone https://github.com/hailong0707/spider_news_all

4. 查看README.md项目文档
$ cd spider_news_all 
$ ls 
$ vim README.md

5. 安装环境及数据库存储连接用的MySQL-python模块
$ sudo yum install python-devel 
$ sudo yum install mysql-devel 
$ pip install MySQL-python 
$ pip install bs4


6. 创建新的与爬虫项目匹配的数据库和配置爬虫项目MySQLdb的连接账号密码
进入MySQL创建存储数据的数据库、表,记得刷新权限: 

mysql> create database news; 
mysql> grant all privileges on news.* to username@localhost identified by 'passwd'; 
mysql> flush privileges;

在db.sql的同级目录加载数据库表结构

$ mysql -u root -p 
$ source db.sql

配置与数据库对应的爬虫系统的MySQLdb的连接账号密码:

$ vim pipelines.py 
$ vim zqrb.py


7. 安装screen,运行项目,以抓取证券日报新闻为例,命名screen名称zqrb
$ sudo yum install screen 
$ screen -S zqrb 
$ scrapy crawl zqrb

8. Debug,直接运行会发现报错,debug完再运行

AttributeError: 'list' object has no attribute 'iteritems'

查看项目的github主页,在Issues里有人已经提出解决方案,修改setting.py

ITEM_PIPELINES = { 'spider_news_all.pipelines.SpiderNewsAllPipeline': 300 }

修改之后再次运行,Great!Ctrl+A+D退出screen返回终端,让爬虫继续运行,Linux中可以利用crontab执行定时任务,比如可以设置每天晚上0点定时开启爬虫抓取。

$ scrapy crawl zqrb




原文发布时间为:2016-10-08
本文作者:知乎@橙哥
本文来自云栖社区合作伙伴“ Python中文社区”,了解相关信息可以关注“ Python中文社区”微信公众号

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
1月前
|
数据采集 存储 前端开发
动态渲染爬虫:Selenium抓取京东关键字搜索结果
动态渲染爬虫:Selenium抓取京东关键字搜索结果
|
1月前
|
JSON Kubernetes 安全
找到啦,我们已上车,Github 27000+ star,研发团队必备开源工具项目,真丝滑!!!
Trivy 是一款高效灵活的开源安全扫描工具,支持容器镜像、文件系统、Kubernetes 等多目标扫描,具备快速、易用、集成性强等特点,适用于 DevSecOps 全流程安全检测。
|
1月前
|
数据采集 存储 前端开发
Java爬虫性能优化:多线程抓取JSP动态数据实践
Java爬虫性能优化:多线程抓取JSP动态数据实践
|
1月前
|
数据采集 存储 JSON
地区电影市场分析:用Python爬虫抓取猫眼/灯塔专业版各地区票房
地区电影市场分析:用Python爬虫抓取猫眼/灯塔专业版各地区票房
|
1月前
|
数据挖掘 调度 开发工具
Github 2.3k star 太牛x,京东(JoyAgent‑JDGenie)这个开源项目来得太及时啦,端到端多智能体神器!!!
JoyAgent-JDGenie是京东开源的端到端产品级多智能体系统,支持自然语言生成报告、PPT、网页等内容,准确率达75.15%。具备开箱即用、多智能体协同、高扩展性及跨任务记忆能力,支持多种文件格式输出,部署灵活,不依赖私有云平台。适合企业自动化报告生成、数据分析与行业定制化应用,是高效、实用的开源AI工具。
328 0
|
1月前
|
安全 数据可视化 项目管理
精品,Github 5000+ star,小型研发团队必备商业开源项目
DooTask 是一款开源在线项目任务管理工具,具备文档协作、流程图、任务分发、IM沟通等功能,支持私有部署与数据加密,已在 GitHub 获得 5000+ 星标,适合中小团队提升协作效率。
112 0
|
1月前
|
数据采集 存储 XML
Python爬虫XPath实战:电商商品ID的精准抓取策略
Python爬虫XPath实战:电商商品ID的精准抓取策略
|
4月前
|
数据采集 Web App开发 JavaScript
基于Selenium的Python爬虫抓取动态App图片
基于Selenium的Python爬虫抓取动态App图片
345 68
|
4月前
|
数据采集
Haskell编程中,利用HTTP爬虫实现IP抓取
以上就是利用Haskell编写IP抓取爬虫的详细步骤。希望这篇文章的演示对于理解在Haskell这种函数式编程语言中如何实现网络爬虫有所帮助,而其中的网络访问、标签解析和列表处理等技术在许多其他的问题中都有广泛的应用。
92 26
|
人工智能 数据安全/隐私保护 计算机视觉
GitHub爆款神器 | IOPaint:21.7k star 开源AI图像修复项目,竟能秒删水印、拓展画幅!
IOPaint 是一款由 Sanster 团队开发的开源图像处理工具,集成多种 SOTA AI 模型,支持图像擦除、对象替换、文本绘制和图像外扩等功能。它操作简便,一键安装,适用于 Windows、macOS、Linux 和 Apple Silicon 系统,适合摄影爱好者、电商从业者及内容创作者使用,大幅提升图像处理效率。
140 0

热门文章

最新文章