win下安装scrapyd spiderkeeper

简介: win下安装scrapyd spiderkeeper

1.安装

打开cmd
    # pip install scrapyd
    # pip install scrapyd-client
    # pip install scrapy-redis
    # pip install SpiderKeeper

2.启动scrapyd

  重开一个cmd
    # scrapyd
  浏览器查看
    http://127.0.0.1:6800

3.启动spiderkeeper

重开一个cmd
    # spiderkeeper
浏览器查看
    localhost:5000
    注:如果是window启动需要输入账号密码,均为admin

4.编辑需要部署的项目的scrapy.cfg文件

[deploy:部署名(部署名可以自行定义)]
url = http://127.0.0.1:6800/
project = 项目名(创建项目时使用的名称)

5.进入python安装目录的\Scripts\

目录下新建scrapyd-deploy.bat文件,输入:
    @echo off
    "python安装目录\python.exe" "python安装目录\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
验证是否安装成功:
    进入项目带scrapy.cfg文件的目录,cmd执行scrapyd-deploy,出现:
        Unknown target: default   即代表成功

6.部署项目到scrapyd

同样在scrapy项目路径下执行cmd输入
        # scrapyd-deploy 部署名 -p 项目名称

7.部署项目到spiderkeeper上

    首先在项目路径中“生蛋”,cmd输入
        # scrapyd-deploy --build-egg output.egg
    然后打开spiderkeeper浏览器页面,点击deploy,点击create project创建新项目名称
    点击选择文件,上传之前创建的.egg文件
    完成
目录
相关文章
|
Windows Linux
Windows CMD中的findstr命令详解
Windows CMD中的findstr命令详解 一、作用 findstr是Window系统自带的命令,用于查找某路径下指定的一个或多个文件中包含某些特定字符串的行,并将该行完整的信息打印出来,或者打印查询字符串所在的文件名。
7008 0
|
7月前
|
并行计算 Shell 异构计算
win10安装RStudio报错
在Windows 10上安装RStudio 2023.12.0-369后,启动时遇到GPU过程启动失败错误(error_code=18)。系统显示NVIDIA GeForce RTX 4070显卡及CUDA Version 12.4。为解决问题,尝试以`--no-sandbox`参数启动RStudio:`"C:\Program Files\RStudio\rstudio.exe" --no-sandbox`,应用此方法后问题得到解决。
132 0
|
Ubuntu Linux Windows
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
117 0
qt6.5 download for kali/ubuntu ,windows (以及配置选项选择)
|
Java Android开发
Java环境变量配置(win7+win10)
Java环境变量配置(win7+win10)
309 0
|
存储 移动开发 Java
Windows cmd(bat) 脚本简单使用
前提知识 命令提示符介绍 命令提示符是在操作系统中,提示进行命令输入的一种工作提示符。在不同的操作系统环境下,命令提示符各不相同。在 windows 环境下,命令行程序为 cmd.exe,微软 Windows 系统基于 Windows 上的命令解释程序,类似于微软的 DOS 操作系统。
952 0
|
Windows
“inno setup打包,win7下安装没有桌面快捷方式,xp下安装正常”
修改桌面的快捷键为选中就行了:Flags: checkablealone;在[Tasks]下面修改代码如下:Name: "desktopicon"; Description: "{cm:CreateDesktopIcon}"; GroupDescription: "{cm:AdditionalIco...
1119 0
|
网络协议 vr&ar 数据安全/隐私保护
windows cmd下常用的100条命令
gpedit.msc—–组策略   2. sndrec32——-录音机   3. Nslookup——-IP地址侦测器 ,是一个 监测网络中 DNS 服务器是否能正确实现域名解析的命令行工具。
1228 0
|
Windows 数据安全/隐私保护
[20180420]windows下使用cmd的小问题.txt
[20180420]windows下使用cmd的小问题.txt --//无意中发现windows xp下使用cmd的小问题,发现公司内一台古老的XP机器,我每次启动cmd都会报警,内存不足.
1009 0