python之kafka日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: python之kafka日志
2024-06-05 13:56:00,895 - kafka.conn - INFO - Probing node bootstrap-0 broker version 
2024-06-05 13:56:00,895 - kafka.conn - INFO - <BrokerConnection node_id=bootstrap-0 host=11.11.22.158:9092 <connecting> [IPv4 ('11.11.22.158', 9092)]>: Connection complete. 
2024-06-05 13:56:00,996 - kafka.conn - ERROR - <BrokerConnection node_id=bootstrap-0 host=11.11.22.158:9092 <connected> [IPv4 ('11.11.22.158', 9092)]>: socket disconnected 
2024-06-05 13:56:00,997 - kafka.conn - INFO - <BrokerConnection node_id=bootstrap-0 host=11.11.22.158:9092 <connected> [IPv4 ('11.11.22.158', 9092)]>: Closing connection. KafkaConnectionError: socket disconnected 
2024-06-05 13:56:00,997 - kafka.conn - INFO - Broker is not v(0, 10) -- it did not recognize ApiVersionRequest_v0 
2024-06-05 13:56:00,998 - kafka.conn - INFO - <BrokerConnection node_id=bootstrap-0 host=11.11.22.158:9092 <connecting> [IPv4 ('11.11.22.158', 9092)]>: connecting to 11.11.22.158:9092 [('11.11.22.158', 9092) IPv4] 
2024-06-05 13:56:00,999 - kafka.conn - INFO - <BrokerConnection node_id=bootstrap-0 host=11.11.22.158:9092 <connecting> [IPv4 ('11.11.22.158', 9092)]>: Connection complete. 
2024-06-05 13:56:01,210 - kafka.conn - INFO - Broker version identified as 0.9 
2024-06-05 13:56:01,210 - kafka.conn - INFO - Set configuration api_version=(0, 9) to skip auto check_version requests on startup 
2024-06-05 13:56:01,212 - kafka.coordinator.consumer - WARNING - group_id is None: disabling auto-commit. 
2024-06-05 13:56:01,212 - kafka.consumer.subscription_state - INFO - Updating subscribed topics to: ('N3S_EHDB_insure_KFK',) 
2024-06-05 13:56:01,212 - root - INFO - start ... 
2024-06-05 13:56:01,214 - kafka.consumer.subscription_state - INFO - Updated partition assignment: [TopicPartition(topic='N3S_EHDB_insure_KFK', partition=0)] 
2024-06-05 13:56:01,216 - kafka.conn - INFO - <BrokerConnection node_id=136 host=11.11.22.143:9092 <connecting> [IPv4 ('11.11.22.143', 9092)]>: connecting to 11.11.22.143:9092 [('11.11.22.143', 9092) IPv4] 
2

从您提供的日志信息来看,这是一个与Kafka客户端和Kafka集群交互的日志。下面是对日志中关键部分的解释:


探测Kafka节点版本


2024-06-05 13:56:00,895 - kafka.conn - INFO - Probing node bootstrap-0 broker version


客户端正在尝试探测bootstrap-0这个Kafka broker的版本。




连接建立


2024-06-05 13:56:00,895 - kafka.conn - INFO - <BrokerConnection ...>: Connection complete.

客户端成功连接到了Kafka broker。



连接断开

2024-06-05 13:56:00,996 - kafka.conn - ERROR - <BrokerConnection ...>: socket disconnected  

...  


2024-06-05 13:56:00,997 - kafka.conn - INFO - <BrokerConnection ...>: Closing connection. KafkaConnectionError: socket disconnected

客户端在尝试与broker交互时,socket连接断开了。这可能是由于多种原因造成的,比如网络问题、broker配置问题或客户端配置问题等。



版本识别问题


2024-06-05 13:56:00,997 - kafka.conn - INFO - Broker is not v(0, 10) -- it did not recognize ApiVersionRequest_v0

客户端试图发送一个ApiVersionRequest_v0请求来确定broker支持的API版本,但broker没有识别这个请求。这通常意味着客户端和broker之间的版本不兼容。



重新连接与版本识别


...  

2024-06-05 13:56:01,210 - kafka.conn - INFO - Broker version identified as 0.9  

...

客户端重新连接后,成功识别出broker的版本为0.9。然后,客户端设置了相应的配置来跳过在启动时自动检查版本。


消费者组ID警告



2024-06-05 13:56:01,212 - kafka.coordinator.consumer - WARNING - group_id is None: disabling auto-commit.


这里警告说,消费者组ID (group_id) 是None,因此禁用了自动提交。在Kafka中,消费者组是多个消费者实例的集合,它们共同消费一个或多个主题的数据。如果没有指定group_id,消费者实例将不会属于任何消费者组,并且不会自动提交其消费的偏移量。



更新订阅的主题


2024-06-05 13:56:01,212 - kafka.consumer.subscription_state - INFO - Updating subscribed topics to: ('N',)


客户端更新了其订阅的主题列表,只包含一个名为N3S的主题。



分区分配



2024-06-05 13:56:01,214 - kafka.consumer.subscription_state - INFO - Updated partition assignment: [TopicPartition(topic='N3S_EHDB_insure_KFK', partition=0)]


消费者客户端被分配了主题N3S_EHDB_insure_KFK的分区0进行消费。



连接到另一个broker


2024-06-05 13:56:01,216 - kafka.conn - INFO - <BrokerConnection node_id=136 host=11.11.22.143:9092 <connecting> [IPv4 ('11.11.22.143', 9092)]>: connecting to 11.11.22.143:9092 [('11.11.22.143', 9092) IPv4]



客户端正在尝试连接到ID为136的另一个Kafka broker(位于11.11.22.143:9092)。


相关文章
|
25天前
|
Python
python读写操作excel日志
主要是读写操作,创建表格
53 2
|
24天前
|
Python Windows
python知识点100篇系列(24)- 简单强大的日志记录器loguru
【10月更文挑战第11天】Loguru 是一个功能强大的日志记录库,支持日志滚动、压缩、定时删除、高亮和告警等功能。安装简单,使用方便,可通过 `pip install loguru` 快速安装。支持将日志输出到终端或文件,并提供丰富的配置选项,如按时间或大小滚动日志、压缩日志文件等。还支持与邮件通知模块结合,实现邮件告警功能。
python知识点100篇系列(24)- 简单强大的日志记录器loguru
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
35 4
|
1月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
39 1
|
1月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
26 1
|
1月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
35 2
|
2月前
|
消息中间件 Kafka Python
|
2月前
|
Python
5-9|Python获取日志
5-9|Python获取日志
|
2月前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具,然而,如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块,探讨如何使用日志来进行调试、分析与问题排查,并提出了一些实际应用中的优化建议和最佳实践。
|
2月前
|
Python
Python如何将日志输入到文件里
Python如何将日志输入到文件里