开发者社区> 问答> 正文

scrapy中如何进行自定制命令?

scrapy中如何进行自定制命令?

展开
收起
珍宝珠 2019-11-22 13:58:24 1555 0
1 条回答
写回答
取消 提交回答
  • 在spiders同级创建任意目录,如:commands
    在其中创建'crawlall.py'文件(此处文件名就是自定义的命令)
    from scrapy.commands import ScrapyCommand
        from scrapy.utils.project import get_project_settings
        class Command(ScrapyCommand):
            requires_project = True
            def syntax(self):
                return '[options]'
            def short_desc(self):
                return 'Runs all of the spiders'
            def run(self, args, opts):
                spider_list = self.crawler_process.spiders.list()
                for name in spider_list:
                    self.crawler_process.crawl(name, **opts.__dict__)
                self.crawler_process.start()
    在'settings.py'中添加配置'COMMANDS_MODULE = '项目名称.目录名称''
    在项目目录执行命令:'scrapy crawlall'
    
    2019-11-22 13:58:35
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载