Kafka 里面的信息是如何被消费的

简介: Kafka 里面的信息是如何被消费的

作为一个爬虫工程师,Kafka 对你而言就是一个消息队列,你只需要掌握如何向里面写入数据,以及如何读取数据就何读取就可以可了。

请谨记:使用 Kafka 很容易,但对 Kafka 集群进行搭建、维护与调优很麻烦。Kafka 集群需要有专人来维护,不要以为你能轻易胜任这个工作。

本文,以及接下来的几篇针对 Kafka 的文章,我们面向的对象都是爬虫工程师或者仅仅需要使用 Kafka 的读者。关于 Kafka 更深入的底层细节与核心原理,不在我们的讨论范围中。为了解释方便,文章中对 Kafka 的一些术语会使用一些不太准确但能表明意思的类比。如果你需要在面试中解释这些术语,还请阅读Kafka 的官方文档。

今天我们要讨论的一个话题是,Kafka 是如何做到,对单个程序的多个进程而言,能持续消费,断点续传和并行消费;对多个程序而言又互不影响,各自独立。

一个 Kafka 可以有多个不同的队列,我们把这个队列叫做Topic,假设其中一个队列如下图所示:

image.png

信息从右边进去,从左边出来。如果这是Redis 的列表,那么它弹出一条信息以后,队列会变成下面这样:

image.png

最左边的信息1不见了。所以即使程序在消费了信息1后立刻关闭,再重新打开,程序也会接着从信息2开始消费,不会把信息1重复消费两次。

但我如果有两个程序呢?程序1读取每一条数据,再转存到数据库。程序2读取每一条数据,再检查是否有关键词。这种情况下,信息1应该能被程序1消费,也能被程序2消费。但上面这种方案显然是不行的。当程序1消费了信息1,程序2就再也拿不到它了。

所以,在 Kafka 里面,信息会停留在队列里面,但对每一个程序来说,有一个单独的记号,来记录当前消费到了哪一条数据,如下图所示。

image.png

当程序1要读取 Kafka 里面下一条数据时,Kafka 先把当前位置的标记向右移动一位,把新的这个值返回出来。标记移动与返回这两个操作合在一起算是一个原子操作,不会出现重复读取的问题。

程序1与程序2使用的是不同的标记,所以各自的标记指向哪个值,是互不影响的。

当增加一个程序3的时候,只需要再加一个标记即可。新的这个标记也不受前两个标记的影响。

这就实现了在多个不同的程序读取 Kafka 时,各自互不影响。

现在如果你觉得程序1消费太慢了,把程序1同时运行了3次,那么由于标记和移位是原子操作,即使你看起来程序是同时去读取 Kafka,但在内部 Kafka 也会对他们进行“排队”,从而使得他们返回的结果不重复,不遗漏。

如果你在网上看 Kafka 的教程,你会发现他们提到了一个叫做 Offset 的东西,实际上就是本文所说的各个程序里面指向当前数据的标记

你还会看到一个关键词叫做Group,实际上对应到本文的程序1程序2程序3

对同一个队列,如果多个程序使用不同的Group消费,那么他们读取的数据就互不干扰。

对同一个队列,相同 Group 的多个进程在消费数据时,看起来就像是在对 Redis 进行 lpop 操作一样。

最后,你在网上关于 Kafka 的文章里面,一定会看到一个词叫做Paritition或者中文分片。而且你会发现你无法理解这个东西。

没关系,忘记它吧。你只需要知道,一个 Topic 有多少个 Partition,那么你最多能启动多少个进程读取同一个 Group。——如果一个Topic有3个Partition,那么你只能最多开3个进程同时读相同的 Group。 Topic如果有5个Partition,那么你只能最多开5个进程读同一个 Group


目录
相关文章
|
4月前
|
消息中间件 Java Kafka
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
【Azure 事件中心】在Windows系统中使用 kafka-consumer-groups.bat 查看Event Hub中kafka的consumer groups信息
|
5月前
|
消息中间件 监控 Kafka
查询Kafka集群中消费组(group)信息和对应topic的消费情况
查询Kafka集群中消费组(group)信息和对应topic的消费情况
2602 0
|
消息中间件 数据采集 NoSQL
Kafka 里面的信息是如何被消费的?
Kafka 里面的信息是如何被消费的?
110 0
|
消息中间件 Java Kafka
springboot中kafka配置信息记录
springboot中kafka配置信息记录
582 0
|
消息中间件 JSON 运维
6.【kafka运维】删除Topic消息+查看Broker磁盘信息
6.【kafka运维】删除Topic消息+查看Broker磁盘信息
6.【kafka运维】删除Topic消息+查看Broker磁盘信息
|
消息中间件 Kafka API
Kafka原理解析-旧版本0.8高级Api的Demo和配置信息获取技巧
旧版本高级Api封装: package xxxxxx; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import java.util.Properties; public class KafkaProducerTest implements Runnable {
564 0
|
2月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
|
2月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
50 1
|
4月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
308 9
|
4月前
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
72 3