Kafka

简介: Kafka

Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。

1、消息:kafka中的数据单元被称为消息,也被称为记录,可以把它看成数据库表中的一行记录。
2、批次:为了提高效率,消息会分批次写入kafka,批次就代指是一组消息。
3、主题:消息的种类称为主题( topic)。一个主题代表了一类消息,相当于对消息进行了分类。
4、生产者:将向Kafka topic发布消息的程序成为producers.
5、消费者:将预订topics并消费消息的程序成为consumer.
6、 Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker(消息代理).
7、 producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:

客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。

分布式:
每个分区在Kafka集群的若干服务中都有副本,这样这些持有副本的服务可以共同处理数据和请求,副本数量是可以配置的。副本使Kafka具备了容错能力。
每个分区都由一个服务器作为“leader”,零或若干服务器作为“followers”,leader负责处理消息的读和写,followers则去复制leader.如果leader down了,followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色:作为它所持有的一部分分区的leader,同时作为其他分区的followers,这样集群就会据有较好的负载均衡。

相关文章
|
安全 Java 数据处理
Python网络编程基础(Socket编程)多线程/多进程服务器编程
【4月更文挑战第11天】在网络编程中,随着客户端数量的增加,服务器的处理能力成为了一个重要的考量因素。为了处理多个客户端的并发请求,我们通常需要采用多线程或多进程的方式。在本章中,我们将探讨多线程/多进程服务器编程的概念,并通过一个多线程服务器的示例来演示其实现。
|
12月前
|
存储 关系型数据库 MySQL
阿里云PolarDB解决游戏行业全球部署高并发问题
阿里云PolarDB解决游戏行业全球部署高并发问题
|
12月前
|
算法 安全 数据安全/隐私保护
TLS 1.3 相比 TLS 1.2 在性能上有哪些具体的提升?
【10月更文挑战第4天】TLS 1.3 相比 TLS 1.2 在性能上有哪些具体的提升
|
Java Linux 容器
JVM内存问题之什么是OOM-Killer,它通常会在什么情况下触发
JVM内存问题之什么是OOM-Killer,它通常会在什么情况下触发
333 2
|
关系型数据库 MySQL 分布式数据库
PolarDB的版本
【5月更文挑战第13天】PolarDB的版本
323 0
|
Web App开发
折腾Chrome 插件,怎么给右键菜单增加“选项”?
折腾Chrome 插件,怎么给右键菜单增加“选项”?
303 0
|
SQL Java 物联网
Flink---1、概述、快速上手
Flink---1、概述、快速上手
|
SQL 存储 数据库
Sql查询原理与Select执行顺序(详细)
原文地址:点击打开链接 一切都是为了性能,一切都是为了业务 一、查询的逻辑执行顺序 (1) FROM left_table (3) join_type JOIN right_table (2) ON join_condition (4) WHERE where_condition (5) GROUP BY group_by_list (6) WITH {cube | rollup} (7
8763 0
|
计算机视觉
OpenCV(十一):图像仿射变换
OpenCV(十一):图像仿射变换
485 0
|
存储 SQL 关系型数据库