使用scrapy 1.6自带的Telnet控制台

简介: Scrrapy附带一个内置的telnet控制台,用于检查和控制Scrapy运行过程。telnet控制台只是运行在Scrapy进程中的常规python shell,因此您可以从它执行任何操作。telnet控制台是内置Scrapy扩展默认情况下是启用的,但如果需要,也可以禁用它。

Scrrapy附带一个内置的telnet控制台,用于检查和控制Scrapy运行过程。telnet控制台只是运行在Scrapy进程中的常规python shell,因此您可以从它执行任何操作。

telnet控制台是 内置Scrapy扩展 默认情况下是启用的,但如果需要,也可以禁用它。

警告

通过公共网络使用telnet控制台是不安全的,因为telnet不提供任何传输层协议的安全措施。

控制台作用是用于在相同主机或者相同网段的爬虫监控。


如何访问telnet控制台

中定义的tcp端口中侦听telnet控制台。 TELNETCONSOLE_PORT 设置,默认为 6023 。要访问控制台,在CMD命令界面使用命 令telnet localhost 6023:

telnet localhost 6023
Trying localhost...
Connected to localhost.
Escape character is '^]'.
Username:
Password:
>>>


默认情况下,用户名是 scrapy 密码是自动生成的。自动生成的密码可以在下面的示例日志中看到:

2018-10-16 14:35:21 [scrapy.extensions.telnet] INFO: Telnet Password: 16f92501e8a59326

默认用户名和密码可以被设置覆盖  在配置文件中可以配置用户名和密码。

TELNETCONSOLE_USERNAME
TELNETCONSOLE_PASSWORD


警告

用户名和密码只提供有限的保护,因为telnet没有使用安全传输-默认情况下,即使设置用户名和密码,流量也不会加密。

您需要默认安装在Windows中的telnet程序和大多数Linux发行版。

telnet控制台中的可用变量

telnet控制台就像运行在Scrapy进程中的常规Python shell,所以您可以使用它做任何事情,包括导入新模块等等。

然而,为了方便起见,telnet控制台附带了一些默认变量:

捷径 描述
crawler 抓取爬行器( scrapy.crawler.Crawler 对象)
engine Crawler.Engine属性
spider 活动蜘蛛
slot 发动机槽
extensions 扩展管理器(Crawler.Exments属性)
stats Stats收集器(Crawler.stats属性)
settings Scrapy设置对象(Crawler.Settions属性)
est 打印引擎状态报告
prefs 有关内存调试(请参见 调试内存泄漏)
p 格式化输出 pprint.pprint 功能的快捷方式
hpy 有关内存调试(请参见 调试内存泄漏)

Telnet控制台使用示例

下面是您可以使用telnet控制台执行的一些示例任务:

查看引擎状态

您可以使用 est() 方法,以便使用telnet控制台快速显示其状态:

telnet localhost 6023
>>> est()
Execution engine status

time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : False
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : False
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : False
engine.slot.closing                             : False
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : False


暂停,恢复并停止刮伤引擎

停顿:

telnet localhost 6023
>>> engine.pause()
>>>


恢复:

telnet localhost 6023
>>> engine.unpause()
>>>

停止:

telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.


Telnet控制台信号

  • scrapy.extensions.telnet.update_telnet_vars(Telnet VAR)

    在telnet控制台打开之前发送。您可以连接到此信号,以添加、删除或更新telnet本地命名空间中可用的变量。为此,您需要更新 telnet_vars 你的操纵者。

    Parameters:

    telnet_vars  (dict ) – the dict of telnet variables


Telne相关配置参数


TELNETCONSOLE_PORT

Default:  [6023, 6073]

用于telnet控制台的端口范围。如果设置为None或0,使用动态分配的端口


TELNETCONSOLE_HOST

Default:  '127.0.0.1'

telnet控制台应该侦听的ip地址。


TELNETCONSOLE_USERNAME

Default:  'scrapy'

用于telnet控制台的用户名。


TELNETCONSOLE_PASSWORD

Default:  None

用于telnet控制台的密码,默认行为是让它自动生成,在启动日志中可见。

关于Telnet

Telnet协议是TCP/IP协议族中的一员,是Internet远程登录服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。

在终端使用者的电脑上使用telnet程序,用它连接到服务器。终端使用者可以在telnet程序中输入命令,这些命令会在服务器上运行,就像直接在服务器的控制台上输入一样。

可以在本地就能控制服务器。要开始一个telnet会话,必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。 

开启Telnet

win默认是没有开启该条命令及其相关功能,需要先在win电脑上开始。

在控制面板-程序-打开或关闭Windows功能-勾选“Telnet服务器”和“Telne客户端”


相关文章
protobuf实战-----之Mac 安装篇
因为项目的需要,所以,要在mac上安装配置protobuf。其中走了不少弯路。
2293 0
|
JSON 算法 API
微信支付超过2000元配置
导入依赖、微信工具类、请求示例、超过2000元转账参数、姓名加密、请求参数、微信支付平台证书序列号、Wechatpay-Serial
1310 0
|
2月前
|
知识图谱
Dataphin 知识图谱解析算子:让非结构化数据成为可关联、可复用的知识
Dataphin 知识图谱解析算子可自动从录音、沟通纪要、产品手册等非结构化数据中提取可用于构建知识图谱的业务对象及关系,并通过工作流持续更新图谱,帮助企业实现知识的关联化、复用化和日常化。
152 0
|
2月前
|
SQL 监控 关系型数据库
MySQL索引合并优化器陷阱:为什么复合索引比索引合并快一个数量级?
MySQL优化器有一个“自作聪明”的行为——当单列索引无法完全覆盖查询时,它可能选择索引合并(Index Merge) ,同时使用多个单列索引,把结果集合并起来。听起来很合理对吧?但索引合并有严格的适用条件,用错了比全表扫描还慢——尤其是UNION类型的索引合并,需要对多个结果集去重和排序,代价极高。本文拆解索引合并的3种类型、3个踩坑场景,以及什么时候该用复合索引替代。
|
4月前
|
人工智能 前端开发 JavaScript
你的时区正在告诉 Claude Code,你是中国人
Claude Code 通过系统时区(UTC+8)、浏览器语言、中文字体等6项本地指纹识别中国用户,无需依赖IP。开源工具 claude-tester 可本地检测你的“AI身份分”(满分100),揭示被忽视的隐私暴露面——时区、字体、Emoji 风格皆成线索。纯前端,零数据上传。
1078 3
你的时区正在告诉 Claude Code,你是中国人
|
3月前
|
人工智能 数据可视化 安全
阿里云百炼:一站式AI大模型开发与应用平台,开通免费领超7000万Tokens额度
阿里云百炼是大模型一站式服务平台,集成千问全系列及DeepSeek、Kimi等主流模型,支持OpenAI兼容API与可视化应用构建,覆盖智能体、知识库等场景。新用户免费领7000万Tokens,兼顾开发者高效接入与业务人员零代码落地。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
|
6月前
|
数据采集 人工智能 监控
办公Agent + 企业知识库:自动生成季度报告与竞品分析文档
本文揭秘一款专为企业打造的办公Agent:它能自动连通CRM、飞书、竞品官网等知识源,按模板生成季度复盘与竞品分析初稿,引用皆可溯源。实测报告撰写从12小时缩至3分钟,人工仅需微调。不吹“全能”,只解决找资料慢、信息散、更新滞三大痛点。(239字)
509 4
|
8月前
|
人工智能 安全 测试技术
我给 OpenClaw 杀了 47 次僵尸进程,终于想明白了一些事
本文深度剖析OpenClaw:既吐槽其Gateway单点故障、钉钉通道集成缺陷与稳定性痛点,也肯定其“个人AI助理”叙事成功;对比本地开源(OpenClaw)与云端沙箱(Manus)路径,反思Skill模式与传统工程化取舍,并指出AI能写代码,但架构、产品与安全仍需人来把关。
我给 OpenClaw 杀了 47 次僵尸进程,终于想明白了一些事
|
8月前
|
人工智能 Kubernetes 容灾
破局与重构:深度解析“紧密型县域医共体”的业务、技术与商业机遇
县域医共体是医疗IT“下一个黄金十年”的核心战场。政策驱动“六统一”与医保打包付费,倒逼基层信息化升级。需构建云HIS/EMR、区域医技中心、双向转诊及HRP四大系统,攻克主数据治理、弱网容灾等难点。SaaS总包、AI辅助诊疗与医防融合催生千亿级新蓝海。
|
10月前
|
监控 安全 前端开发
你的WhatsApp正在被“克隆”?新型钓鱼攻击借验证码接管账户,社交链成传播温床
2026年初,代号“GhostPairing”的全球钓鱼攻击利用WhatsApp验证码机制,通过伪造登录页面诱导用户交出设备配对权,实现账号完全接管。攻击无恶意软件,纯靠社会工程,具备“社交蠕虫”式扩散能力,已致多国用户身份劫持、财产损失。专家警示:验证码即权限,勿随意输入外部链接。
1161 3