kafka集群维护

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: kafka集群基本信息实时查看和修改:     集群信息实时查看(topic工具)     kafka-topics,sh --list --zookeeper x.x.x.x      kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name      集群信息实时修改(topic工具)     提高topic并发,通过增加topic的partition数来解决。

kafka集群基本信息实时查看和修改:

     集群信息实时查看(topic工具)

     kafka-topics,sh --list --zookeeper x.x.x.x 

     kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name 

     集群信息实时修改(topic工具)

     提高topic并发,通过增加topic的partition数来解决。

现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“"describe topics”命令就可以了:

  1. > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic


  2. Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:

  3. Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0


下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。

leader:负责处理消息的读和写,leader是从所有节点中随机选择的.

replicas:列出了所有的副本节点,不管节点是否在服务中.

isr:是正在服务中的节点.



 

kafka集群leader 平衡机制

         集群机器会上下线

 

集群分区日志迁移:

     

     1、写jason文件,将需要迁移的topic写入。

 

     

 

疑问:

  1个topic有多个分区,是否每个分区都都是一份完整的日志。

 partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).

  个人理解:  producer生成日志并推送到对应topic上,topic 按照partition将日志分散。

每个topic有一个broker 作为leader,负责读写,同时其他机器从leader进行同步。

 2、   broker 为集群中的机器实例,对应topic的 leader 值为broker机器的id,负责读写操作。


目录
相关文章
|
5G 数据处理 UED
超密集网络UDN的核心特点 | 带你读《5G UDN(超密集网络)技术详解》之一
本书全面深入地阐述了 UDN 技术的发展历史、当今的现状及未来趋势,内容 涵盖上层业务应用、部署组网、系统架构、无线接入侧高层和物理层关键技术等方 面。本书从 5G 移动业界大背景为切入点,紧密结合了当前 5G 在 3GPP 的标准化 进展,系统化地梳理和诠释了 5G UDN 的诸多相关技术,从宏观到微观,从高层 到低层。通过本书,读者不仅可以全面丰富地了解目前 5G 在 3GPP 的标准化状况 和未来趋势,系统化地学习 UDN 技术体系的相关知识,还可以体察标准制定背后 的诸多缘由和规律。
超密集网络UDN的核心特点 | 带你读《5G UDN(超密集网络)技术详解》之一
|
9月前
|
人工智能 自动驾驶 安全
《解锁数据新动能:数据标注工具与AI模型训练平台的无缝对接热潮》
在人工智能快速发展的今天,数据成为核心驱动力。数据标注工具与模型训练平台的集成,实现了数据无缝流转,犹如为AI发展装上双引擎。集成不仅提高了数据传输效率、减少了人工干预,还确保了数据准确性,提升了模型性能。统一的数据标准、高效的接口设计和严格的安全保障是实现无缝流转的关键要素。这种集成推动了医疗、自动驾驶等领域的快速发展,促进了数据驱动的创新,为企业和社会带来巨大价值。未来,这一趋势将更加高效智能,进一步推动AI技术的广泛应用。
307 8
|
消息中间件 存储 监控
连锁不平衡以及连锁不平衡衰减
连锁不平衡以及连锁不平衡衰减
|
机器学习/深度学习 算法 TensorFlow
机器学习框架教程:介绍一些流行的机器学习框架(如Scikit-learn、XGBoost等)
机器学习框架教程:介绍一些流行的机器学习框架(如Scikit-learn、XGBoost等)
1741 0
|
前端开发 开发者
图解 Promise 实现原理(二)—— Promise 链式调用
本系列文章由浅入深逐步实现 Promise,并结合流程图、实例以及动画进行演示,达到深刻理解 Promise 用法的目的。
1188 0
|
中间件
活动回顾丨阿里云业务中台最佳实践沙龙圆满落幕
2019年7月26日,阿里云业务中台最佳实践沙龙于浦东国际人才港圆满落幕。此次沙龙活动由阿里云中间件主办主办,浦东国际人才发展中心、阿里云创新中心(上海张江、上海松江、上海临港)基地共同协办。 本次会议的讲师均来自阿里云中间件,他们是阿里云中间件的技术专家。
4676 120
|
XML 前端开发 JavaScript
PHP多文件压缩并分片下载文件详细介绍,附上完整代码
有时我们经常需要压缩下载多个文件,我这里主要采用在fastadmin框架中添加了一个表格自定义按钮,并为按钮绑定相应的事件来实现。
493 0
|
存储 编解码 编译器
QT+ OpenGL学习
什么是opengl open graphics library 他是一个由Khronos组织制定并且维护的规范 opengl核心是一个c库,同时也支持多种语言的派生
303 0
|
Web App开发 存储 JavaScript
尝鲜少代码高性能的Svelte框架
Svelte 是一种全新的构建用户界面的方法。传统框架(如 React 和 Vue)在浏览器中完成大部分工作,而 Svelte 将这些工作转移到构建应用程序时发生的编译步骤。通过本教程中,你将从头开始构建自己的应用,分别使用 Svelte -Cli 和 云开发平台
2323 10
尝鲜少代码高性能的Svelte框架