一般教程中教大在命令行运行爬虫:
# 方式一 $ scrapy crawl spider_name
这样,每次都要切换到命令行,虽然可以按向上键得到上次运行的指令,不过至少还要敲一次运行命令
还有一种方式是单独配置一个文件,spider_name是具体爬虫名称,通过pycharm运行设置,不过每次都要改爬虫名称,而且不利于git提交
# 方式二 from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
第三种方式和方式二类似,不同的是在每个爬虫文件最下面配置如下代码,
# 方式三 if __name__ == '__main__': from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
可以直接执行脚本,当然如果是mac本的话可以用快捷键shift + ctrl + R