Scrapy命令行基本用法

简介: 1.创建一个新项目:scrapy startproject myproject 2.在新项目中创建一个新的spider文件:scrapy genspider mydomain mydomain.

1.创建一个新项目:

scrapy startproject myproject

 

2.在新项目中创建一个新的spider文件:

scrapy genspider mydomain mydomain.com

mydomain为spider文件名,mydomain.com为爬取网站域名

 

3.全局命令:

startproject
genspider
settings
runspider
shell
fetch
view
version

 

4.只在项目中使用的命令(局部命令):

crawl
check
list
edit
parse
bench

 

5.运行spider文件:

scrapy crawl <spider>

  

6.检查spider文件有无语法错误:

scrapy check

 

7.列出spider路径下的spider文件:

scrapy list

 

8.编辑spider文件:

scrapy edit <spider>

相当于打开vim模式,实际并不好用,在IDE中编辑更为合适。

 

9.将网页内容下载下来,然后在终端打印当前返回的内容,相当于 request 和 urllib 方法:

scrapy fetch <url>

 

10.将网页内容保存下来,并在浏览器中打开当前网页内容,直观呈现要爬取网页的内容: 

scrapy view <url>

 

11.打开 scrapy 显示台,类似ipython,可以用来做测试:

scrapy shell [url]

 

12.输出格式化内容:

scrapy parse <url> [options]

 

13.返回系统设置信息:

scrapy settings [options]

如:

$ scrapy settings --get BOT_NAME
scrapybot

 

14.运行spider:

scrapy runspider <spider_file.py>

 

15.显示scrapy版本:

scrapy version [-v]

后面加 -v 可以显示scrapy依赖库的版本

 

16.测试电脑当前爬取速度性能:

scrapy bench

  

相关文章
|
1月前
|
开发工具 Python
[oeasy]python0010_怎么用命令行保存文件
[oeasy]python0010_怎么用命令行保存文件
18 1
|
9月前
|
Shell Python
Python: shell上面的进度条打印是如何实现的?
Python: shell上面的进度条打印是如何实现的?
95 1
|
10月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
Python基础 | 快速实现命令行参数解析
Python基础 | 快速实现命令行参数解析
63 0
|
11月前
|
存储 前端开发 Shell
详细介绍Scrapy shell的使用
详细介绍Scrapy shell的使用
you-get:一行命令下载视频和Python简单使用you-get
you-get:一行命令下载视频和Python简单使用you-get
you-get:一行命令下载视频和Python简单使用you-get
|
Python
VSCode中设置Python解释器运行Scrapy
VSCode中设置Python解释器运行Scrapy
263 0
|
数据采集 NoSQL Shell
Python编程:windows安装scrapy及报错
Python编程:windows安装scrapy及报错
207 0
Python编程:windows安装scrapy及报错
|
XML 前端开发 Shell
Python:Scrapy Shell
Python:Scrapy Shell
106 0
Python:Scrapy Shell
|
存储 监控 中间件
scrapy常用设置参考手册
内置设置参考 以下是所有可用Scrapy设置的列表,按字母顺序排列,以及它们的默认值和适用范围。 范围(如果可用)显示设置的使用位置,如果它与任何特定组件相关联。在那种情况下,将显示该组件的模块,通常是扩展,中间件或管道。
1989 0
Scrapy框架的使用之Spider的用法
在Scrapy中,要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在Spider中配置的。在前一节实例中,我们发现抓取逻辑也是在Spider中完成的。本节我们就来专门了解一下Spider的基本用法。