Kafka 消费者案例 | 学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 Kafka 消费者案例

开发者学堂课程【NiFi 知识精讲与项目实战(第三阶段):Kafka 消费者案例学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/707/detail/12554


Kafka 消费者案例

内容介绍:

一、Consumer 消费

二、实际操作


一、Consumer 消费

1.创建处理器并连接

创建 ConsumeKafka_0_10和 LogAttribute(打印日志,观察是否真正消费 kafka 数据)处理器,并连接。

image.png

2.配置 ConsumeKafka_0_10

Brokers 地址要和 Producer 的设置一样:192.168.52.100:9092,192.168.52.110:9092,192.168.52.120:9092

Topic 设置和 Producer 一致: nifi-topic(不一致就接收不到信息)

Group ID 随意设置:nifi,相当于分组去消费

offset Reset 设置为: latest,从最新的消息开始消费,;也可以从最早的进行消费。

image.png

3.设置 LogAttribute

设置为自连接,其它都是用默认值。

image.png

4.启动流程并查看日志

5.增加生产频率

注意:如果服务器资源有限,不要进行此操作。因为不仅要启动 nifi 服务器集群,还要启动 kafka 集群,如果电脑配置不够,就让消费的速度慢一些。

GenerateFlowFile 的调度频率加快: 20ms

image.png


二、实际操作

首先创建处理器 consumekafka,还是选择0.10版本的处理器,再创建 logattribute,处理器创建好以后进行连接,连接以后,对 kafka 的消费数据,会推送到日志里面,通过 nifi 日志就可以查看是否被消费以及消费的数据,接下来配置 kafkaconsumer,更改一下 broker 地址,可以改成和生产一样的地址,不一样的地址就接收不到消息,topic 还是一样为 nifi-topic,Group ID 可以随意填写,为了方便查看最新的消费情况 offset 可以选择 latest 最新的数据,然后点击 apply。

此时发现 logattribute 有黄色提示信息,设置自连接,接下来测试是否能够正常消费,查看 nifi 日志。All nodes 消费以后,日志可以改为 primary nodes。让它只在主节点里面运行,只要查看主节点的数据即可,点击 cluster

image.png

主节点是第三个,进入第三个去查看日志即可

image.png

通过这些来监听日志,这些是JK心跳日志,稍后会启用 kafka 日志。kafka 服务器上面也在继续监听,它没有新消息,需要启动一下所有服务,带马蓉显示已经开始消费 kafka 数据

image.png

消费端也有数据在不断生成,每一次十个一秒发一次,这时候的服务器负载已经超高,可以先进行停止,自己在测试的时候,一定要根据硬件配置来进行,最后的案例可以把速率调小一点,查看 kafka 消费情况和 nifi 日志打印,速率调小那么日志发送的速度就会变慢。

相关文章
|
3月前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
239 0
|
2月前
|
消息中间件 存储 负载均衡
Apache Kafka核心概念解析:生产者、消费者与Broker
【10月更文挑战第24天】在数字化转型的大潮中,数据的实时处理能力成为了企业竞争力的重要组成部分。Apache Kafka 作为一款高性能的消息队列系统,在这一领域占据了重要地位。通过使用 Kafka,企业可以构建出高效的数据管道,实现数据的快速传输和处理。今天,我将从个人的角度出发,深入解析 Kafka 的三大核心组件——生产者、消费者与 Broker,希望能够帮助大家建立起对 Kafka 内部机制的基本理解。
97 2
|
5月前
|
消息中间件 负载均衡 大数据
揭秘Kafka背后的秘密!再均衡如何上演一场消费者组的‘权力游戏’,让消息处理秒变高能剧情?
【8月更文挑战第24天】Kafka是一款在大数据处理领域备受推崇的产品,以其出色的性能和可扩展性著称。本文通过一个具体案例介绍其核心机制之一——再均衡(Rebalancing)。案例中,“user_activity”主题下10个分区被3个消费者均衡消费。当新消费者加入或原有消费者离开时,Kafka将自动触发再均衡过程,确保所有消费者能有效处理分配给它们的分区。
146 62
|
5月前
|
消息中间件 Kafka API
【Kafka消费新风潮】告别复杂,迎接简洁之美——深度解析Kafka新旧消费者API大比拼!
【8月更文挑战第24天】Apache Kafka作为一个领先的分布式流处理平台,广泛用于实时数据管道和流式应用的构建。随着其发展,消费者API经历了重大更新。旧消费者API(包括“低级”和“高级”API)虽提供灵活性但在消息顺序处理上存在挑战。2017年引入的新消费者API简化了接口,自动管理偏移量,支持更强大的消费组功能,显著降低了开发复杂度。通过对比新旧消费者API的代码示例可以看出,新API极大提高了开发效率和系统可维护性。
142 58
|
3月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
58 3
|
3月前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
53 2
|
3月前
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
69 1
|
3月前
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
51 1
|
7月前
|
消息中间件 分布式计算 Kafka
Kafka(四)【Kafka 消费者】(4)
Kafka(四)【Kafka 消费者】
|
3月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
217 0

热门文章

最新文章