2018年6月9日复习scrapy爬虫框架
1.本人操作系统为Win10,python版本为3.6,使用的命令行工具为powershell,所起作用和cmd的作用相差不大。
2.进入powershell：在你的爬虫程序文件夹中，在按住shift键的情况下，单击鼠标右键，显示如下图。
点击“在”此处打开Powershell窗口"，可以实现基于当前目录打开powershell
3.在powershell中输入命令"scrapy startproject Tencent",确认命令正确以后运行，运行正确的结果应该如下图。
这个命令起到的效果是新建了一个工程名为Tencent的工程目录。
4.在powershell中输入命令"cd T",然后按一下Tab键，会自动补全为命令"cd .\Tencent",运行该命令。
这个命令起到的效果是让powershell进入工程目录。
5.在powershell中输入命令"scrapy genspider tencent hr.tencent.com" 。
这个命令起到的效果是在"Tencent/Tencent/spiders"这个目录中产生一个tencent.py文件，这个文件已经自动生成一部分代码，如果自己新建一个py文件，并且手动输入代码是一样的效果，但是用命令生成py文件会稍微快一点。
6.在已经安装好Pycharam的条件下，打开Pycharm,并打开Tencent工程。
上图是整个工程的缩略图。
7.对工程中的items.py文件编写代码。
一个条目item中有5个字段:职位名称(jobName)、职位类别(jobType)、招聘人数(recruitmentNumber)、工作地点(workplace)、发布时间(publishTime)
import scrapy
from scrapy import Field
class TencentItem(scrapy.Item):
jobName = Field()
jobType = Field()
recruitmentNumber = Field()
workplace = Field()
publishTime = Field()
8.对工程中的tencent.py文件编写代码。
腾讯社会招聘信息的页数总共386页，所以向start_urls中添加386个url。
parse函数中的find函数作用是防止item中的字段为空时程序中断。
在写xpath函数时，"td[1]"与"./td[1]"含义相同，但写成"/td[1]"运行程序会报错。
import scrapy
from Tencent.items import TencentItem
class TencentSpider(scrapy.Spider):
name = 'tencent'
start_urls = []
baseUrl = 'https://hr.tencent.com/position.php?&start={}0'
for i in range(386):
start_urls.append(baseUrl.format(i))
def parse(self, response):
def find(pNode,xpath):
if len(pNode.xpath(xpath)):
return pNode.xpath(xpath).extract()[0]
else:
return ''
item = TencentItem()
job_list = response.xpath("//tr[@class='odd' or @class= 'even']")
for job in job_list:
item['jobName'] = find(job, "td[1]/a/text()")
item['jobType'] = find(job, "td[2]/text()")
item['recruitmentNumber'] = find(job, "td[3]/text()")
item['workplace'] = find(job, "td[4]/text()")
item['publishTime'] = find(job, "td[5]/text()")
yield item
9.对工程中的pipelines.py文件编写代码。
对每一个通过yield返回的item存入job_list，然后在爬虫完成的时候通过close_spider函数把job_list持久化存储为"腾讯社会招聘(简易版).xlsx"
要取得一个dict的keys()，需要加括号。
import pandas as pd
class TencentPipeline(object):
job_list = []
def process_item(self, item, spider):
self.job_list.append(dict(item))
return item
def close_spider(self, spider):
df = pd.DataFrame(self.job_list)
df.to_excel("腾讯社会招聘(简易版).xlsx",columns=[k for k in self.job_list[0].keys()])
10.对工程中的settngs.py文件改写代码。
该文件中的第67-69行代码本来为：
# ITEM_PIPELINES = {
# 'Tencent.pipelines.TencentPipeline': 300,
# }
修改后：
ITEM_PIPELINES = {
'Tencent.pipelines.TencentPipeline': 300,
}
该修改取消了注释，起到声明管道的作用，使项目知道调用TencentPipeline这个管道文件。
11.到此为止，所有代码方面的工作已经完成，在之前打开的powershell中输入"scrapy crawl tencent",确认命令正确后运行。
如果powershell已经关闭，可以重新打开powershell，并确保已经cd进入Tencent工程的任一级目录。
运行工程生成的的"腾讯社会招聘(简易版).xlsx"文件在powershell运行命令时所在的那一个目录。
提示：
1.源代码已经上传github，链接地址:https://github.com/StevenLei2017/TencentJob1
