Python:Scrapy传入自定义参数运行

简介: Python:Scrapy传入自定义参数运行

运行命令

# 运行爬虫
$ scrapy crawl spiderName
# 传入自定义参数运行
$ scrapy crawl spiderName -a parameter1=value1 -a parameter2=value2

示例:通过3种方式获取传入的参数

# -*- coding: utf-8 -*-
import scrapy
from scrapy import cmdline
class BaiduSpider(scrapy.Spider):
    name = 'baidu_spider'
    start_urls = ['https://www.baidu.com/']
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 方式一: 在init方法中获取参数
        num = kwargs.get('num')
        print('init num: ', num)
    def parse(self, response):
        # 方式二: 在实例方法中获取参数
        # 如果没有传参数会报错: AttributeError: 'BaiduSpider' object has no attribute 'num'
        print('self.num: ', self.num)
        # 方式三: 在实例方法中获取参数
        num = getattr(self, 'num', False)
        print('getattr: ', num)
if __name__ == '__main__':
    cmdline.execute("scrapy crawl baidu_spider -a num=10".split())

参考

Scrapy中传入自定义参数

相关文章
|
2月前
|
Python
探索Python中的魔法方法:打造你自己的自定义对象
【8月更文挑战第29天】在Python的世界里,魔法方法如同神秘的咒语,它们赋予了对象超常的能力。本文将带你一探究竟,学习如何通过魔法方法来定制你的对象行为,让你的代码更具魔力。
39 5
|
10天前
|
Python
turtle库的几个案例进阶,代码可直接运行(python经典编程案例)
该文章展示了使用Python的turtle库进行绘图的进阶案例,包括绘制彩色圆形和复杂图案的代码示例。
52 6
turtle库的几个案例进阶,代码可直接运行(python经典编程案例)
|
9天前
|
jenkins 持续交付 Docker
docker之自定义制作镜像(python程序)
docker之自定义制作镜像(python程序)
|
8天前
|
Linux UED iOS开发
Python中的自定义进度条:从零开始
Python中的自定义进度条:从零开始
|
10天前
|
Python
turtle库的几个简单案例,代码可直接运行(python经典编程案例)
该文章提供了多个使用Python的turtle库绘制不同图形的简单示例代码,如画三角形、正方形、多边形等,展示了如何通过turtle进行基本的绘图操作。
17 5
|
11天前
|
NoSQL MongoDB 数据库
python3操作MongoDB的crud以及聚合案例,代码可直接运行(python经典编程案例)
这篇文章提供了使用Python操作MongoDB数据库进行CRUD(创建、读取、更新、删除)操作的详细代码示例,以及如何执行聚合查询的案例。
22 6
|
8天前
|
Windows Python
python获取windows机子上运行的程序名称
python获取windows机子上运行的程序名称
|
2月前
|
算法 计算机视觉 Python
python利用opencv进行相机标定获取参数,并根据畸变参数修正图像附有全部代码(流畅无痛版)
该文章详细介绍了使用Python和OpenCV进行相机标定以获取畸变参数,并提供了修正图像畸变的全部代码,包括生成棋盘图、拍摄标定图像、标定过程和畸变矫正等步骤。
python利用opencv进行相机标定获取参数,并根据畸变参数修正图像附有全部代码(流畅无痛版)
|
7天前
|
机器学习/深度学习 PyTorch TensorFlow
Python实现深度学习学习率指数衰减的方法与参数介绍
学习率指数衰减提供了一种高效的动态调整学习率的手段,帮助模型在不同训练阶段以不同的学习速度优化,有利于提升模型性能和训练效率。通过合理设置衰减策略中的参数,可以有效地控制学习率的衰减过程,实现更加精确的模型训练调优。
10 0
|
2月前
|
UED Python
探索Python中的魔法方法:打造自定义字符串表示
【8月更文挑战第31天】在Python的世界里,魔法方法是那些以双下划线开头和结尾的特殊方法,它们为类提供了丰富的功能。本文将带你走进这些魔法方法的背后,特别是__str__和__repr__,揭示如何通过它们来定制我们的对象在被打印或转换为字符串时的外观。我们将从基础用法开始,逐步深入到高级技巧,包括继承与重写,最终实现一个优雅的字符串表示方案。准备好了吗?让我们开始这段代码之旅吧!
下一篇
无影云桌面