Kafka

简介: Kafka

Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。

1、消息:kafka中的数据单元被称为消息,也被称为记录,可以把它看成数据库表中的一行记录。
2、批次:为了提高效率,消息会分批次写入kafka,批次就代指是一组消息。
3、主题:消息的种类称为主题( topic)。一个主题代表了一类消息,相当于对消息进行了分类。
4、生产者:将向Kafka topic发布消息的程序成为producers.
5、消费者:将预订topics并消费消息的程序成为consumer.
6、 Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker(消息代理).
7、 producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:

客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。

分布式:
每个分区在Kafka集群的若干服务中都有副本,这样这些持有副本的服务可以共同处理数据和请求,副本数量是可以配置的。副本使Kafka具备了容错能力。
每个分区都由一个服务器作为“leader”,零或若干服务器作为“followers”,leader负责处理消息的读和写,followers则去复制leader.如果leader down了,followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色:作为它所持有的一部分分区的leader,同时作为其他分区的followers,这样集群就会据有较好的负载均衡。

相关文章
|
8月前
|
消息中间件 存储 Kafka
Kafka详解
当今数字化世界中,数据的流动变得至关重要。为了满足不断增长的数据需求,企业需要强大而可靠的数据处理工具。Apache Kafka就是这样一个工具,它在数据流处理领域表现出色。本文将详细介绍Apache Kafka,探讨它的核心概念、用途以及如何使用它来构建强大的数据流应用。
|
4天前
|
消息中间件 分布式计算 Java
|
4天前
|
消息中间件 Java Kafka
Kafka
Kafka
16 1
|
4天前
|
消息中间件 存储 分布式计算
|
4天前
|
消息中间件 存储 Java
玩转Kafka—初步使用
玩转Kafka—初步使用
31 0
|
6月前
|
消息中间件 缓存 算法
Kafka为什么这么快?
Kafka 是一个基于发布-订阅模式的消息系统,它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率,即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢?本文将从七个方面来分析 Kafka 的速度优势。
45 1
|
6月前
|
消息中间件 开发框架 Java
113 Kafka介绍
113 Kafka介绍
40 0
|
9月前
|
消息中间件 缓存 Java
Kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统,作为消息中间件来说都起到了系统间解耦、异步、削峰等作用,同时又提供了Kafka streaming插件包在应用端实现实时在线流处理,它可以收集并处理用户在网站中的所有动作流数据以及物联网设备的采样信息
135 0
|
10月前
|
消息中间件 分布式计算 Java
浅谈kafka 一
浅谈kafka 一
|
11月前
|
消息中间件 存储 缓存
kafka
kafka
317 0