win下安装scrapyd spiderkeeper

简介: win下安装scrapyd spiderkeeper

1.安装

打开cmd
    # pip install scrapyd
    # pip install scrapyd-client
    # pip install scrapy-redis
    # pip install SpiderKeeper

2.启动scrapyd

  重开一个cmd
    # scrapyd
  浏览器查看
    http://127.0.0.1:6800

3.启动spiderkeeper

重开一个cmd
    # spiderkeeper
浏览器查看
    localhost:5000
    注:如果是window启动需要输入账号密码,均为admin

4.编辑需要部署的项目的scrapy.cfg文件

[deploy:部署名(部署名可以自行定义)]
url = http://127.0.0.1:6800/
project = 项目名(创建项目时使用的名称)

5.进入python安装目录的\Scripts\

目录下新建scrapyd-deploy.bat文件,输入:
    @echo off
    "python安装目录\python.exe" "python安装目录\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
验证是否安装成功:
    进入项目带scrapy.cfg文件的目录,cmd执行scrapyd-deploy,出现:
        Unknown target: default   即代表成功

6.部署项目到scrapyd

同样在scrapy项目路径下执行cmd输入
        # scrapyd-deploy 部署名 -p 项目名称

7.部署项目到spiderkeeper上

    首先在项目路径中“生蛋”,cmd输入
        # scrapyd-deploy --build-egg output.egg
    然后打开spiderkeeper浏览器页面,点击deploy,点击create project创建新项目名称
    点击选择文件,上传之前创建的.egg文件
    完成
目录
相关文章
|
Windows
windows下curl的下载和使用
windows下curl的下载和使用
873 0
|
6月前
|
并行计算 Shell 异构计算
win10安装RStudio报错
在Windows 10上安装RStudio 2023.12.0-369后,启动时遇到GPU过程启动失败错误(error_code=18)。系统显示NVIDIA GeForce RTX 4070显卡及CUDA Version 12.4。为解决问题,尝试以`--no-sandbox`参数启动RStudio:`"C:\Program Files\RStudio\rstudio.exe" --no-sandbox`,应用此方法后问题得到解决。
97 0
|
计算机视觉 Windows Python
已解决windows pycocotools安装失败问题 —— 超简单
已解决ModuleNotFoundError: No module named 'pycocotools'
264 1
已解决windows pycocotools安装失败问题 —— 超简单
|
Ubuntu Linux Windows
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
95 0
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
|
Web App开发 缓存 JavaScript
安装选择msi格式还是zip(windows下Nodejs zip版下载安装及环境变量配置)
安装选择msi格式还是zip(windows下Nodejs zip版下载安装及环境变量配置)
335 0
安装选择msi格式还是zip(windows下Nodejs zip版下载安装及环境变量配置)
|
机器学习/深度学习 Web App开发 移动开发
Win10 安装pycocotools
Win10 安装pycocotools
661 0
|
Windows
“inno setup打包,win7下安装没有桌面快捷方式,xp下安装正常”
修改桌面的快捷键为选中就行了:Flags: checkablealone;在[Tasks]下面修改代码如下:Name: "desktopicon"; Description: "{cm:CreateDesktopIcon}"; GroupDescription: "{cm:AdditionalIco...
1112 0