死磕-kafka(三)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 死磕-kafka(三)

一、你真的了解Kafka的工作机制吗?

Kafka作为一个消息队列系统,其核心机制就是生产消息和消费消息

1、在Kafka基本结构中,生产者(Producer)组件和消费者(Consumer)组件互不影响 ,但又是必须存在的,缺少生产者和消费者中的任意一方,整个kafka消息队列系统将是不完整的。

2、生产者负责写入消息数据,将审计日志,服务日志,数据库,移动APP日志,以及其他类型的日志主动推送到Kafka集群进行存储。

3、消费者负责读取消息数据,例如,通过Hadoop的应用接口,Spark的应用接口,Storm的应用接口,ElasticSearch的应用接口,以及其他自定义服务的应用接口,主动拉取Kafka集群中的消息数据。

4、另外,Kafka是一个分布式系统,用Zookeeper来管理,协调Kafka集群的各个代理Broker节点,当Kafka集群中新添加了一个代理节点,或者某一台代理节点出现故障时,Zookeeper服务将会通知生产者应用程序和消费者应用程序去其他的正常代理节点读写。

好吧,今天就到这了,下次见~~

相关文章
|
7天前
|
消息中间件 Kafka 调度
死磕-kafka(一)
死磕-kafka(一)
|
7天前
|
消息中间件 存储 算法
死磕-kafka(二)
死磕-kafka(二)
|
7天前
|
分布式计算 Hadoop 分布式数据库
死磕HBase(二)
死磕HBase(二)
|
7天前
|
存储 NoSQL 关系型数据库
死磕HBase(一)
死磕HBase(一)
|
2月前
|
消息中间件 存储 缓存
这么酷的Kafka,背后的原理了解一下又不会死!
这么酷的Kafka,背后的原理了解一下又不会死!
|
5月前
|
消息中间件 Kafka API
这些年背过的面试题——Kafka篇
本文是技术人面试系列Kafka篇,面试中关于Kafka都需要了解哪些基础?一文带你详细了解,欢迎收藏!
|
消息中间件 存储 NoSQL
Kafka面试连环炮
Kafka面试连环炮
97 0
|
消息中间件 存储 大数据
为啥非要用Kafka?其他MQ不行么? by 彭文华
为啥非要用Kafka?其他MQ不行么? by 彭文华
|
消息中间件 存储 缓存
【面试题系列】:Kafka 夺命11问,你能扛到第几问?
1.说说你对 Kafka 的理解 kafka是一个流式数据处理平台,他具有消息系统的能力,也有实时流式数据处理分析能力,只是我们更多的偏向于把他当做消息队列系统来使用。 如果说按照容易理解来分层的话,大致可以分为3层: 第一层是Zookeeper,相当于注册中心,他负责kafka集群元数据的管理,以及集群的协调工作,在每个kafka服务器启动的时候去连接到Zookeeper,把自己注册到Zookeeper当中 第二层里是kafka的核心层,这里就会包含很多kafka的基本概念在内: Record:
141 0
【面试题系列】:Kafka 夺命11问,你能扛到第几问?
|
消息中间件 存储 缓存
你能说出 Kafka 这些原理吗(一)
这是 Java 建设者的第 52 篇原创文章
104 0
你能说出 Kafka 这些原理吗(一)