126 Kafka名词解释和工作方式

简介: 126 Kafka名词解释和工作方式

Producer : 消息生产者,就是向kafka broker发消息的客户端。

Consumer : 消息消费者,向kafka broker取消息的客户端

Topic : 可以理解为一个队列。

Consumer Group (CG): 这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个topic可以有多个CG。topic的消息会复制(不是真的复制,是概念上的)到所有的CG,但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播,只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。

Broker : 一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。

Partition: 为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。kafka只保证按一个partition中的顺序将消息发给consumer,不保证一个topic的整体(多个partition间)的顺序。

Offset: kafka的存储文件都是按照offset.kafka来命名,用offset做名字的好处是方便查找。例如你想找位于2049的位置,只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka

目录
相关文章
|
8月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
1811 2
2024年了,如何更好的搭建Kafka集群?
|
5月前
|
消息中间件 监控 Java
《轻松驾驭Kafka集群:Kafka-manager部署与测试全攻略》
【8月更文挑战第13天】在云原生与微服务架构下,Apache Kafka作为高性能消息队列系统被广泛应用。管理Kafka集群以确保数据稳定流转至关重要。Kafka-manager是一款简洁易用的监控与管理工具,深受开发者喜爱。本文介绍其部署与测试流程:确认Java环境、下载与启动Kafka-manager、配置连接Kafka集群参数、通过Web界面监控集群状态与消息流向,以及利用其监控功能检测系统健康状况。此外,还提及如何处理用户权限管理和集群扩展等问题。通过实际操作,Kafka-manager显著提升了Kafka集群的可见性与管理效率,是运维与开发工作中不可或缺的工具。
115 0
|
8月前
|
消息中间件 Java Kafka
MQ产品使用合集之对于Kafka作为数据源的情况,官方比较推荐哪种使用方式
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
8月前
|
消息中间件 运维 监控
【Kafka】Kafka生产过程中何时会发生QueueFullExpection以及如何处理
【4月更文挑战第11天】【Kafka】Kafka生产过程中何时会发生QueueFullExpection以及如何处理
|
8月前
|
消息中间件 存储 缓存
分布式实时消息队列Kafka(三)生产分区规则
分布式实时消息队列Kafka(三)生产分区规则
74 0
分布式实时消息队列Kafka(三)生产分区规则
|
8月前
|
消息中间件 存储 负载均衡
kafka使用场景与设计原理
kafka使用场景与设计原理
118 0
|
消息中间件 存储 负载均衡
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
201 0
|
消息中间件 Kafka 索引
【Kafka实战指南】kafka分区数设置多少合适
【Kafka实战指南】kafka分区数设置多少合适
3572 1
【Kafka实战指南】kafka分区数设置多少合适
|
消息中间件 存储 缓存
【Kafka使用场景/基本概念/初体验/消费模式/消费组的偏移量】
【Kafka使用场景/基本概念/初体验/消费模式/消费组的偏移量】
183 0
|
消息中间件 网络协议 Java
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡
【Kafka从入门到成神系列 六】Kafka 消费组及重平衡