初尝Kafka(四):数据的从生产到消费

简介: 初尝Kafka(四):数据的从生产到消费

之前我们已经初步在命令行中使用了Kafka,下面我们就来说日一下数据从生产到消费的一个生命周期。


说到这里,就必须要提前说一下Kafka的几大组成部分了。


1.生产者和消费者


producer and consumer,生产者将数据发送到Kafka服务中,由消费者去提取数据进行消费。


2.broker(集群实例)


Kafka的优势之一就是其可以支撑集群分布式部署,在每个服务器上开启Kafka服务(broker.id不同),每个Kafka服务就是一个集群实例,也可以说是一个broker。


3.topic(主题)


Kafka中的关键词之一,单个topic代表着一种类型的消息,等同于对生产者发送的消息进行一个归类。


4.partition(分区)


分区,topic下的更小元素,所以topic下面会存在多个partition,每个分区会在磁盘上对应着一个文件。


5.offset(偏移量)


因为一个分区对应着一个磁盘文件,消息发送到Kafka中,就会被放置在分区中,这个时候消息的位置如何获取,那就要考偏移量offset来实现标记点。


到此,Kafka的几个基本构成就介绍完成了。


现在就可以来说一下重头戏了。


1.由生产者对topic进行消息的发送。


2.Kafka将消息数据在中topic或直接存放,或进行分区存放,同时也确保消息能被正常获取到,并且在各分区维持一个数量的平衡。


3.然后消费者进行订阅特定的topic。


4.Kafka获得消费者要订阅的指令,将会立即将特定的消息发送给消费者。


5.在消费者将消息数据消费后,同时会给Kafka一个反馈。


6.Kafka收到确认后,会利用偏移量更新为最新值,并在ZooKeeper中进行更新。


7.由此,从生产者发出消息数据到消费者对其进行消费,就完成了。


本是微末凡尘,却也心向天空。


相关文章
|
10天前
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
31 3
|
23天前
|
消息中间件 Java Kafka
kafka Linux环境搭建安装及命令创建队列生产消费消息
kafka Linux环境搭建安装及命令创建队列生产消费消息
36 4
|
23天前
|
消息中间件 存储 Kafka
kafka 在 zookeeper 中保存的数据内容
kafka 在 zookeeper 中保存的数据内容
32 3
|
2天前
|
消息中间件 SQL Java
实时数仓 Hologres产品使用合集之如何用python将kafka数据写入
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
5天前
|
消息中间件 Kafka Apache
流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决
流计算引擎数据问题之Apache Kafka Streams 没有采用低水印方案如何解决
15 0
|
5天前
|
消息中间件 缓存 Kafka
图解Kafka:架构设计、消息可靠、数据持久、高性能背后的底层原理
【8月更文挑战第15天】在构建高吞吐量和高可靠性的消息系统时,Apache Kafka 成为了众多开发者和企业的首选。其独特的架构设计、消息可靠传输机制、数据持久化策略以及高性能实现方式,使得 Kafka 能够在分布式系统中大放异彩。本文将通过图解的方式,深入解析 Kafka 的这些核心特性,帮助读者更好地理解和应用这一强大的消息中间件。
29 0
|
27天前
|
消息中间件 存储 缓存
面试题Kafka问题之Kafka的生产消费基本流程如何解决
面试题Kafka问题之Kafka的生产消费基本流程如何解决
31 1
|
1月前
|
消息中间件 存储 Kafka
微服务分布问题之Kafka分区的副本和分布如何解决
微服务分布问题之Kafka分区的副本和分布如何解决
|
1月前
|
消息中间件 SQL 分布式计算
DataWorks产品使用合集之如何离线增量同步Kafka数据,并指定时间范围进行同步
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
消息中间件 负载均衡 Kafka
微服务数据问题之Kafka实现高可用如何解决
微服务数据问题之Kafka实现高可用如何解决

热门文章

最新文章