kafka集群维护

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

kafka集群基本信息实时查看和修改:

     集群信息实时查看(topic工具)

     kafka-topics,sh --list --zookeeper x.x.x.x 

     kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name 

     集群信息实时修改(topic工具)

     提高topic并发,通过增加topic的partition数来解决。

现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“"describe topics”命令就可以了:

  1. > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic


  2. Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:

  3. Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0


下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。

leader:负责处理消息的读和写,leader是从所有节点中随机选择的.

replicas:列出了所有的副本节点,不管节点是否在服务中.

isr:是正在服务中的节点.



 

kafka集群leader 平衡机制

         集群机器会上下线

 

集群分区日志迁移:

     

     1、写jason文件,将需要迁移的topic写入。

 

     

 

疑问:

  1个topic有多个分区,是否每个分区都都是一份完整的日志。

 partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).

  个人理解:  producer生成日志并推送到对应topic上,topic 按照partition将日志分散。

每个topic有一个broker 作为leader,负责读写,同时其他机器从leader进行同步。

 2、   broker 为集群中的机器实例,对应topic的 leader 值为broker机器的id,负责读写操作。


本文转自 Wilson9527 51CTO博客,原文链接:http://blog.51cto.com/devops9527/1852794,如需转载请自行联系原作者

相关文章
|
SQL JSON Java
【Elasticsearch专栏 10】深入探索:Elasticsearch如何进行数据导入和导出
在Elasticsearch中,数据导入常通过Bulk API、Logstash或Java客户端进行,支持JSON、CSV等格式。导出则可通过SQL查询、Scroll API或第三方工具如elasticdump实现,将数据以JSON、CSV等格式导出。这些方法确保了数据的高效、安全导入与导出。
1361 5
【Qt项目专栏】贪吃蛇小游戏1.0
【Qt项目专栏】贪吃蛇小游戏1.0
439 5
|
Linux
Linux导出已经安装好的RPM安装包
Linux导出已经安装好的RPM安装包
1037 1
|
关系型数据库 MySQL
清理MySQL的binlog日志
清理MySQL的binlog日志
1410 0
|
API 数据库 开发者
【独家揭秘】Django ORM高手秘籍:如何玩转数据模型与数据库交互的艺术?
【8月更文挑战第31天】本文通过具体示例详细介绍了Django ORM的使用方法,包括数据模型设计与数据库操作的最佳实践。从创建应用和定义模型开始,逐步演示了查询、创建、更新和删除数据的全过程,并展示了关联查询与过滤的技巧,帮助开发者更高效地利用Django ORM构建和维护Web应用。通过这些基础概念和实践技巧,读者可以更好地掌握Django ORM,提升开发效率。
168 0
|
Java Android开发
Android 设置系统时区的源码追踪
Android 设置系统时区的源码追踪
221 1
|
SQL 关系型数据库 MySQL
【MySQL用法】MySQL动态SQL语句标签的详细使用方法说明
【MySQL用法】MySQL动态SQL语句标签的详细使用方法说明
540 0
|
SQL 缓存 算法
14.【clickhouse】ClickHouse从入门到放弃-实战
【clickhouse】ClickHouse从入门到放弃-实战
14.【clickhouse】ClickHouse从入门到放弃-实战
|
Python
通过游戏学Python系列之小兔要上天---手把手教你使用Pygame开发平台跳跃类游戏03之重力及碰撞检测
通过游戏学Python系列之小兔要上天---手把手教你使用Pygame开发平台跳跃类游戏03之重力及碰撞检测
345 0
|
算法
朴素贝叶斯和半朴素贝叶斯的区别
朴素贝叶斯和半朴素贝叶斯的区别
388 0