1.安装
打开cmd # pip install scrapyd # pip install scrapyd-client # pip install scrapy-redis # pip install SpiderKeeper
2.启动scrapyd
重开一个cmd # scrapyd 浏览器查看 http://127.0.0.1:6800
3.启动spiderkeeper
重开一个cmd # spiderkeeper 浏览器查看 localhost:5000 注:如果是window启动需要输入账号密码,均为admin
4.编辑需要部署的项目的scrapy.cfg文件
[deploy:部署名(部署名可以自行定义)] url = http://127.0.0.1:6800/ project = 项目名(创建项目时使用的名称)
5.进入python安装目录的\Scripts\
目录下新建scrapyd-deploy.bat文件,输入: @echo off "python安装目录\python.exe" "python安装目录\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 验证是否安装成功: 进入项目带scrapy.cfg文件的目录,cmd执行scrapyd-deploy,出现: Unknown target: default 即代表成功
6.部署项目到scrapyd
同样在scrapy项目路径下执行cmd输入 # scrapyd-deploy 部署名 -p 项目名称
7.部署项目到spiderkeeper上
首先在项目路径中“生蛋”,cmd输入 # scrapyd-deploy --build-egg output.egg 然后打开spiderkeeper浏览器页面,点击deploy,点击create project创建新项目名称 点击选择文件,上传之前创建的.egg文件 完成