这些天因为项目需要,简答的学习了一下python爬虫,我记录一下自己是怎么一步步爬坑的痛苦。
Python官网
在官网上下载对应版本的python,我这里下载的是老版本2.7.12
在这里跟大家提示一下,python2和python3是好大的不同的,我也不懂为嘛要这样设计。
附上python安装教程,因为要配环境变量。(是不是很贴心)
安装完成,如下图,我们在cmd中输入python就能验证我们是否成功安装。
在自带IDLE中,我们就可以实现python的第一个helloworld程序了
下面如果我们要写爬虫,我们得用到requests,我们有几种安装的办法,这里选择pip安装。安装成功会有提示。
安装完成之后,我们就可以开始我们的第一条爬虫了。先爬我们的个人主页吧
上代码
import requests
url = "https://androidwolf.github.io/"
r = requests.get(url)
print r.encoding
r.text.encode('utf-8')
data = r.content
#print(data)
filename = "123.txt"
f = open(filename, 'a')
f.write(data)
f.close()
print "success"
第一条爬虫已经蠢蠢蠕动了,是不是很激动。