超强!!! Kafka高质量专栏学习大全,持续连载中

简介: 超强!!! Kafka高质量专栏学习大全,持续连载中

image.png

进滴滴技术答疑qun,跟众多技术专家交流技术


运维

Topic增删查(扩容) kafka-topics.sh

kafka的动态配置 kafka-config.sh

Topic发送消息 kafka-console-producer.sh

Topic消费消息 kafka-console-consumer.sh

持续批量推送消息 kafka-verifiable-producer.sh

持续批量拉取消息kafka-verifiable-consumer

生产者压力测试kafka-producer-perf-test.sh

消费者压力测试kafka-consumer-perf-test.sh

删除指定分区的消息kafka-delete-records.sh

查看Broker磁盘信息kafka-log-dirs.sh

消费者组管理 kafka-consumer-groups.sh

查看日志文件 kafka-dump-log.sh

副本扩缩、分区迁移、跨路径迁移 kafka-reassign-partitions

【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)

More…


所有扩展点

kafka动态配置增删改 自定义检验–(alter.config.policy.class.name) 实现类AlterConfigPolicy


创建Topic自定义校验策略 (配置参数 create.topic.policy.class.name)


More…


面试合集

Kafka中ISR、AR是什么?ISR的伸缩又是指什么?

Kafka中的HW、LEO、LSO、LW等分别代表什么?

如何保证消息的顺序性?

简单描述一下生产者发送消息的过程?

有哪些情形会造成重复消费?

那些情景下会造成消息漏消费?

简单描述一下创建/删除Topic的整个流程

topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?

优先副本是什么?它有什么特殊的作用?

简述Kafka的日志目录结构。Kafka中有那些索引文件

简述kafka过期数据清理策略和简单流程

Kafka的那些设计让它有如此高的性能?

Kafka中的延迟队列怎么实现

Kafka中的事务是怎么实现

群友问题合集

【kafka异常】kafka 常见异常处理方案(持续更新)

Kafka的分区和副本数量是由什么决定的, 怎么设置比较合理?

一个Broker节点上的某块数据盘坏了,需要更换,有什么最佳实践吗?

有遇到过topic过期时间,但是到了过期时间却没有正常删除的情况吗?

Kafka有个消费组堆积了.有什么好的解决方法吗?一直在重新平衡

有没有遇到哦过Kafka Rebalance 导致消息回到历史的一个点,比如: 消息回到了3天前的某个点

数据迁移Topic设置限流为50M,为啥网卡流量上是600M呢?

More…


原理源码

kafka分区副本的分配规则

原创 万字长文解析删除Topic流程领导再也不用担心我排查生产环境问题了(附教学视频,建议收藏!!!)

【kafka源码】ReassignPartitionsCommand源码原理分析(附配套教学视频)

【kafka源码】Topic的创建源码分析(附视频)

【kafka原理】zookeeper中的存储结构讲解

【kafka源码】Controller启动过程以及选举流程源码分析

【kafka源码】Controller与Brokers之间的网络通信

【kafka源码】Controller中的状态机

【kafka源码】kafka-configs.sh动态配置

【kafka源码】kafka-topics.sh之删除Topic源码解析

【kafka源码】kafka-topics.sh之alter源码解析(分区扩容)

【kafka源码】LogManager源码分析

Broker上线分析

Broker下线分析

Api请求–元心心控制类请求

消费组协调器GroupCoordinator

副本管理之副本同步流程分析

Log数据管理之数据存储

消费组客户端主题分析

协调器分析

客户端是如何拉取数据的

生产者生产数据流程分析

元信息管理流程

More…


思考

【kafka思考】最小成本的扩缩容副本设计方案

这可可能是kafka中的一个小bug…

More…


实战

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)

【kafka 实战】kafka磁盘满了怎么办!!!

【kafka实战】一不小心删除了brokers topics下的某个Topic节点


相关文章
|
22天前
|
消息中间件 存储 负载均衡
消息队列学习之kafka
【4月更文挑战第2天】消息队列学习之kafka,一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台。
17 2
|
2月前
|
消息中间件 存储 缓存
闭关学习一周kafka,原来他这么快是有原因的!
无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,下面我们就聊聊 Kafka 快的原因。
31 1
|
3月前
|
消息中间件 负载均衡 Kafka
Kafka学习---消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)
Kafka学习---消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)
206 2
|
8月前
|
消息中间件 负载均衡 Kafka
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(一)
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(一)
|
8月前
|
消息中间件 存储 分布式计算
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(二)
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(二)
|
8月前
|
消息中间件 分布式计算 Kafka
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
|
8月前
|
消息中间件 算法 关系型数据库
Kafka学习---4、消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)(二)
Kafka学习---4、消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)(二)
|
8月前
|
消息中间件 Kafka API
Kafka学习---4、消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)(一)
Kafka学习---4、消费者(分区消费、分区平衡策略、offset、漏消费和重复消费)(一)
|
8月前
|
消息中间件 存储 缓存
Kafka学习--3、Kafka Broker、节点服役和退役、Kafka 副本、Leader 选举流程、故障处理
Kafka学习--3、Kafka Broker、节点服役和退役、Kafka 副本、Leader 选举流程、故障处理
|
8月前
|
消息中间件 缓存 Kafka
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(二)
Kafka学习---2、kafka生产者、异步和同步发送API、分区、生产经验(二)

热门文章

最新文章