爬虫工作环境配置-阿里云开发者社区

开发者社区> 数据库> 正文
登录阅读全文

爬虫工作环境配置

简介: 磨刀不误砍柴工,在正式爬虫学习前,需要事先配置工作环境,包括如下: python环境。推荐python3,Windows建议用anaconda,Linux用如下代码 sudo apt-get install python3-dev build-es...

磨刀不误砍柴工,在正式爬虫学习前,需要事先配置工作环境,包括如下:

  • python环境。推荐python3,Windows建议用anaconda,Linux用如下代码
sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib 1g-dev
sudo apt-get install python3
sudo apt-get install python3-pip
  • mongodb:非关系型数据库
  • mysql : 关系型数据库
sudo apt-get install mysql-server mysql-client
  • redis:非关系型数据库,用于分布式爬取任务

上述环境配置,对于Windows无非是下载安装包,不断下一步;对于Linux无非是apt-get install;对于macOS,无非是brew install

多版本python管理
一般而言,我们装个python3就够了,如果需要安装多个python用于不同工作,采用如下方法:

  • 使用conda的工作环境管理,
  • 修改PATH,保证主要的python版本顺序最前
  • 复制一份python3解释器,然后改名,也就是增加软连接
# 先查看python在哪里
whereis python
which python
# 增加软连接
ln -s /usr/bin/python3.5 /usr/bin/python3

爬虫的常用库

# 请求库
requests
selenium # 处理JS渲染网页
# 解析库
lxml #提供xpath解析方式
beautifulsoup # 网页解析库,依赖于lxml
pyquery #网页解析库,语法与jQuery完全一致
# 储存库
pymysql
pymongo
redis
# web库, 用于获取代理,存储
flask
django
# 网页记事本,在线运行代码
jupyter 

一行代码安装上述python包

pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter

另外selenium需要 phantomjs无界面浏览器

入门级教程很多,这篇文章不是教自己一步一步怎么做,而是让自己知道如果想要学爬虫,要去找哪些内容。

写在最后

一年前,我花了499参加了网页云课堂的爬虫课,在学习的过程中,真正的入门了python,而不是单纯的看着工具书,敲代码。
然而,中间有很长一段时间忙其他事情,把python丢在了一遍。现在又要重新用python了,为了提高学习效率,继续从爬虫开始,一个小伙伴拉着我,合伙又买了一门499的课,继续上路

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章