死磕-kafka(三)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 死磕-kafka(三)

一、你真的了解Kafka的工作机制吗?

Kafka作为一个消息队列系统,其核心机制就是生产消息和消费消息

1、在Kafka基本结构中,生产者(Producer)组件和消费者(Consumer)组件互不影响 ,但又是必须存在的,缺少生产者和消费者中的任意一方,整个kafka消息队列系统将是不完整的。

2、生产者负责写入消息数据,将审计日志,服务日志,数据库,移动APP日志,以及其他类型的日志主动推送到Kafka集群进行存储。

3、消费者负责读取消息数据,例如,通过Hadoop的应用接口,Spark的应用接口,Storm的应用接口,ElasticSearch的应用接口,以及其他自定义服务的应用接口,主动拉取Kafka集群中的消息数据。

4、另外,Kafka是一个分布式系统,用Zookeeper来管理,协调Kafka集群的各个代理Broker节点,当Kafka集群中新添加了一个代理节点,或者某一台代理节点出现故障时,Zookeeper服务将会通知生产者应用程序和消费者应用程序去其他的正常代理节点读写。

好吧,今天就到这了,下次见~~

相关文章
|
2天前
|
消息中间件 Kafka 调度
死磕-kafka(一)
死磕-kafka(一)
|
2天前
|
消息中间件 存储 算法
死磕-kafka(二)
死磕-kafka(二)
|
2天前
|
分布式计算 Hadoop 分布式数据库
死磕HBase(二)
死磕HBase(二)
|
2天前
|
存储 NoSQL 关系型数据库
死磕HBase(一)
死磕HBase(一)
|
2天前
|
资源调度 流计算 Docker
死磕flink(七)
死磕flink(七)
|
2天前
|
SQL 资源调度 Kubernetes
死磕flink(五)
死磕flink(五)
|
2天前
|
流计算 Docker 容器
死磕flink(八)
死磕flink(八)
|
2天前
|
分布式计算 大数据 数据处理
死磕Flink(一)
死磕Flink(一)
|
2天前
|
Linux 流计算
死磕flink(四)
死磕flink(四)
|
2天前
|
消息中间件 存储 API
死磕flink(六)
死磕flink(六)