win下安装scrapyd spiderkeeper

简介: win下安装scrapyd spiderkeeper

1.安装

打开cmd
    # pip install scrapyd
    # pip install scrapyd-client
    # pip install scrapy-redis
    # pip install SpiderKeeper

2.启动scrapyd

  重开一个cmd
    # scrapyd
  浏览器查看
    http://127.0.0.1:6800

3.启动spiderkeeper

重开一个cmd
    # spiderkeeper
浏览器查看
    localhost:5000
    注:如果是window启动需要输入账号密码,均为admin

4.编辑需要部署的项目的scrapy.cfg文件

[deploy:部署名(部署名可以自行定义)]
url = http://127.0.0.1:6800/
project = 项目名(创建项目时使用的名称)

5.进入python安装目录的\Scripts\

目录下新建scrapyd-deploy.bat文件,输入:
    @echo off
    "python安装目录\python.exe" "python安装目录\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
验证是否安装成功:
    进入项目带scrapy.cfg文件的目录,cmd执行scrapyd-deploy,出现:
        Unknown target: default   即代表成功

6.部署项目到scrapyd

同样在scrapy项目路径下执行cmd输入
        # scrapyd-deploy 部署名 -p 项目名称

7.部署项目到spiderkeeper上

    首先在项目路径中“生蛋”,cmd输入
        # scrapyd-deploy --build-egg output.egg
    然后打开spiderkeeper浏览器页面,点击deploy,点击create project创建新项目名称
    点击选择文件,上传之前创建的.egg文件
    完成
目录
相关文章
|
Windows
windows下curl的下载和使用
windows下curl的下载和使用
746 0
|
22天前
|
并行计算 Shell 异构计算
win10安装RStudio报错
在Windows 10上安装RStudio 2023.12.0-369后,启动时遇到GPU过程启动失败错误(error_code=18)。系统显示NVIDIA GeForce RTX 4070显卡及CUDA Version 12.4。为解决问题,尝试以`--no-sandbox`参数启动RStudio:`"C:\Program Files\RStudio\rstudio.exe" --no-sandbox`,应用此方法后问题得到解决。
25 0
|
9月前
|
Ubuntu Linux Windows
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
57 0
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
|
10月前
|
计算机视觉 Windows Python
已解决windows pycocotools安装失败问题 —— 超简单
已解决ModuleNotFoundError: No module named 'pycocotools'
178 1
已解决windows pycocotools安装失败问题 —— 超简单
|
Windows
“inno setup打包,win7下安装没有桌面快捷方式,xp下安装正常”
修改桌面的快捷键为选中就行了:Flags: checkablealone;在[Tasks]下面修改代码如下:Name: "desktopicon"; Description: "{cm:CreateDesktopIcon}"; GroupDescription: "{cm:AdditionalIco...
1051 0
|
网络安全 Windows
给Cygwin重新安装curl
之前已经安装过了cygwin了,但是重装了系统了。 不过发现cygwin倒是还可以继续使用。 现在想要使用其中的curl工具。 但是却在cygwin安装目录 E:\dev_install_root\cygwin\bin 对应的bin下面没有找到curl.exe。
1212 0
Windows10下pip的配置文件设置
版权声明:本文可能为博主原创文章,若标明出处可随便转载。 https://blog.
2229 0