kafka集群维护

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: kafka集群基本信息实时查看和修改:     集群信息实时查看(topic工具)     kafka-topics,sh --list --zookeeper x.x.x.x      kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name      集群信息实时修改(topic工具)     提高topic并发,通过增加topic的partition数来解决。

kafka集群基本信息实时查看和修改:

     集群信息实时查看(topic工具)

     kafka-topics,sh --list --zookeeper x.x.x.x 

     kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name 

     集群信息实时修改(topic工具)

     提高topic并发,通过增加topic的partition数来解决。

现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“"describe topics”命令就可以了:

  1. > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic


  2. Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:

  3. Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0


下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。

leader:负责处理消息的读和写,leader是从所有节点中随机选择的.

replicas:列出了所有的副本节点,不管节点是否在服务中.

isr:是正在服务中的节点.



 

kafka集群leader 平衡机制

         集群机器会上下线

 

集群分区日志迁移:

     

     1、写jason文件,将需要迁移的topic写入。

 

     

 

疑问:

  1个topic有多个分区,是否每个分区都都是一份完整的日志。

 partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).

  个人理解:  producer生成日志并推送到对应topic上,topic 按照partition将日志分散。

每个topic有一个broker 作为leader,负责读写,同时其他机器从leader进行同步。

 2、   broker 为集群中的机器实例,对应topic的 leader 值为broker机器的id,负责读写操作。


目录
相关文章
|
7月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
1531 2
2024年了,如何更好的搭建Kafka集群?
|
1月前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
4月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
7月前
|
消息中间件 存储 Kafka
Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
【2月更文挑战第19天】Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
235 1
|
消息中间件 存储 负载均衡
Kafka 集群如何实现数据同步?
Kafka 集群如何实现数据同步?
|
7月前
|
消息中间件 监控 Kafka
深入理解 Kafka 集群搭建与管理
Apache Kafka 作为分布式流处理平台的核心,其集群搭建与管理是确保高可用性和高性能的关键。本文将深入研究 Kafka 集群的构建、配置、工作原理、节点角色以及一些高级管理策略,以助力大家更深层次地理解和灵活运用 Kafka 集群。
|
消息中间件 Kafka
kafka集群操作
kafka集群操作
75 0
|
消息中间件 存储 分布式计算
运维zookeeper+kafka
zookeeper+kafka
182 1
|
消息中间件 负载均衡 监控
【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理
【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理
222 0
|
消息中间件 存储 负载均衡
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
192 0