Python编程:scrapy中使用logging,日志出现多次

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Python编程:scrapy中使用logging,日志出现多次

问题

同时使用scrapy.log和logging,日志会多次出现在控制台


import logging
logging.basicConfig(level=logging.DEBUG)
logging.debug("message")

输出的日志


DEBUG:spider:已经处理过了 product_id: 149118
2019-04-09 16:19:19 [spider] DEBUG: 已经处理过了 product_id: 149118

方式一

注释掉日志配置


import logging
# logging.basicConfig(level=logging.DEBUG)
logging.debug("message")

方式二

通过 logger 成功解决

import logging
logger = logging.getLogger(__name__)
logger.setLevel(level=logging.DEBUG)
logger.debug("message")

方式三

比如peewee的日志记录


import logging

logger = logging.getLogger('peewee')
logging.propagate=False # 这是一个布尔标志, 用于指示消息是否传播给父记录器, 默认值为True

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6天前
|
机器学习/深度学习 人工智能 前端开发
Python中的模块化编程
【6月更文挑战第17天】Python模块化编程与软件架构设计的关键在于拆分任务到独立模块,提高代码的可维护性、可重用性和可扩展性。例如,学生管理系统可分解为录入、查询和删除模块。MVC和MVVM架构模式有助于组织代码,而微服务和函数式编程将在未来发展中扮演重要角色。通过示例代码,读者能学习如何实现这些概念,提升项目开发效率和质量。
155 57
|
3天前
|
数据挖掘 数据处理 Python
Python编程入门:从基础到实践
【6月更文挑战第26天】这篇文章引导读者逐步学习Python编程,从基础语法如变量、数据类型(整数、浮点数、字符串)到条件语句、循环(if/for/while),再到函数定义和模块导入。通过实例展示了Python在文本处理、数据分析(使用pandas)和Web开发(使用Flask)的应用。学习Python能为初学者开启更广阔的技术领域,如面向对象编程、并发和网络编程等。
|
1天前
|
设计模式 程序员 测试技术
老程序员分享:Python数据模型及Pythonic编程
老程序员分享:Python数据模型及Pythonic编程
|
4天前
|
Python
Python多进程编程详细剖析
Python多进程编程详细剖析
13 3
|
10天前
|
开发者 Python
【干货】Python编程惯例
【干货】Python编程惯例
15 1
|
13天前
|
Shell Python
GitHub星标破千Star!Python游戏编程的初学者指南
Python 是一种高级程序设计语言,因其简洁、易读及可扩展性日渐成为程序设计领域备受推崇的语言。 目前的编程书籍大多分为两种类型。第一种,与其说是教编程的书,倒不如说是在教“游戏制作软件”,或教授使用一种呆板的语言,使得编程“简单”到不再是编程。而第二种,它们就像是教数学课一样教编程:所有的原理和概念都以小的应用程序的方式呈现给读者。
|
13天前
|
机器学习/深度学习 存储 自然语言处理
惊艳!老司机熬夜总结的Python高性能编程,高效、稳定、快速!
Python 语言是一种脚本语言,其应用领域非常广泛,包括数据分析、自然语言处理机器学习、科学计算、推荐系统构建等。 能够轻松实现和代码跑得够快之间的取舍却是一个世人皆知且令人惋惜的现象而这个问题其实是可以解决的。 有些人想要让顺序执行的过程跑得更快。有些人需要利用多核架构、集群,或者图形处理单元的优势来解决他们的问题。有些人需要可伸缩系统在保证可靠性的前提下酌情或根据资金多少处理更多或更少的工作。有些人意识到他们的编程技巧,通常是来自其他语言,可能不如别人的自然。
|
2天前
|
索引 Python 容器
Python数据类型:编程新手的必修课
Python数据类型:编程新手的必修课
|
2天前
|
算法 Java 程序员
Python面相对象的编程
Python面相对象的编程
|
3天前
|
Python
揭秘Python安装目录:你的编程宝库隐藏了哪些宝藏?
揭秘Python安装目录:你的编程宝库隐藏了哪些宝藏?