《kafka权威指南》读书笔记

简介: 《kafka权威指南》读书笔记

0、章节1.2.4 每个分区只能被一个消费者使用。

1、章节1.3.2 多个消费者可以组成一个群组,它们共享一个消息流,并保证整个群组对每个给定的消息只处理一次。

2、章节2.1.3 4、Zookeeper节点数量建议是奇数个,至少3台。如果你有1个包含3个节点的群组,那么它允许1个节点失效;如果群组包含5个节点,那么它允许2个节点失效。由于zk使用了一致性协议,节点过多会降低性能。

3、章节2.3.1 默认情况kafka会自动创建主题,但是最好显示手动创建。

4、章节2.3.2 可以增加主题分区的个数,但是不能减少。把分区的大小限制在25GB以内是比较理想的。

5、章节3.4 kafka可以保证同一个分区的消息是有序的。

6、章节 4.1.1 不要让消费者数量超过分区数量。

其他

1、主题名不建议使用"."和"_"字符。

2、建议分区数目是broker节点的整数倍;复制系数(即副本)建议使用默认值3。

3、kafka只保证一个partitions内的消息是有序的,多个一个partitions之间的数据是无序的。

4、默认情况下,Kafka根据传递消息的key来进行分区的分配,即hash(key) % numPartitions。这就保证了相同key的消息一定会被路由到相同的分区。
如果你没有指定key,那么Kafka是如何确定这条消息去往哪个分区的呢?Kafka几乎就是随机找一个分区发送无key的消息,
val index = Utils.abs(Random.nextInt) % availablePartitions.size // 从中随机挑一个

相关文章
|
缓存 网络协议 算法
《HTTP权威指南》读书笔记
《HTTP权威指南》读书笔记
|
消息中间件 存储 缓存
kafka权威指南 第二章第6节 Kafka集群配置与调优
kafka权威指南 第二章第6节 Kafka集群配置与调优
287 0
kafka权威指南 第二章第6节 Kafka集群配置与调优
|
消息中间件 存储 分布式计算
Kafka权威指南 —— 1.2 初识Kafka
Kafka权威指南 —— 1.2 初识Kafka
302 0
Kafka权威指南 —— 1.2 初识Kafka
|
消息中间件 监控 Kafka
《Kafka权威指南》——初识 Kafka
发布与订阅消息系统 在正式讨论Apache Kafka (以下简称Kafka)之前,先来了解发布与订阅消息系统的概念, 并认识这个系统的重要性。数据(消息)的发送者(发布者)不会直接把消息发送给接收 者,这是发布与订阅消息系统的一个特点。
1509 0
|
NoSQL Shell 数据库
mongodb权威指南读书笔记
1.启动前要mkdir /data/db 2.mongod才是数据库启动程序,mongo是shell 3.db命令显示当前db   ,use foobar命令切换当前db 4.
912 0
《IDA Pro权威指南》读书笔记
IDA 6.1 预破解版 种子下载地址 http://thepiratebay.se/torrent/7686769/。 如果不能下了,谷歌搜索 “Hex-Rays Ida Pro Advanced Edition v6.1.1 PreCracked”。
1581 0
|
20天前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
|
29天前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
39 1

热门文章

最新文章