scrapy爬取免费代理IP存储到数据库构建自有IP池-阿里云开发者社区

开发者社区> Python中文社区> 正文

scrapy爬取免费代理IP存储到数据库构建自有IP池

简介: 以抓取西刺代理网站的高匿IP并存储到mysql数据库为例 西刺网:http://www.xicidaili.com/nn/ 运行环境:scrapy1.0.3 python2.7.10 需要安装MySQLdb模块  pip install mysql-python spider的编写步骤:.

以抓取西刺代理网站的高匿IP并存储到mysql数据库为例

西刺网:http://www.xicidaili.com/nn/

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

运行环境:scrapy1.0.3 python2.7.10 需要安装MySQLdb模块 
pip install mysql-python

spider的编写步骤:

1、定义抓取的网站

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

2、定义需要抓取的链接640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

3、用xpath对网站内容进行解析640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

填写settings.py文件中的数据库用户名和密码,之后在mysql中导入proxy.sql文件,数据表名称及属性如下所示:

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

运行scrapy:

scrapy crawl xici640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

不到一分钟即可抓取3000多代理ip,妈妈再也不用担心ip被封啦,本文源码下载地址:

http://pan.baidu.com/s/1c29kkMG,获取密码请在Python中文社区公众号底部回复代理二字。

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=



原文发布时间为:2016-10-26

本文来自云栖社区合作伙伴“Python中文社区”,了解相关信息可以关注“Python中文社区”微信公众号

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
Python中文社区
使用钉钉扫一扫加入圈子
+ 订阅

官网链接