1.创建scrapy工程命令
scrapy startproject 工程名
2.在spiders文件夹中创建爬虫文件
具体操作:
先进入工程文件中,然后运行创建
cd test_project #是进入了第一个test_project文件夹
scrapy genspider example example.com
结果:
3.编辑爬虫文件
4.执行工程
scrapy crawl spiderName
#这里是 scrapy crawl first
5.问题解决
执行时可以不要打印log
scrapy crawl spiderName --nolog
但这样无法查错,不推荐,推荐修改配置
让日志输出报错信息,这样就不用nolog