(一)kafka从入门到精通之初识kafka

简介: 消费者读取消息,消费者通过检查消息的偏移量来区分已经读取过的消息。消费者是消费者群组的一部分,说也就是说会有一个和多个消费者共同读取一个主题,群组保证每个分区只能被一个消费者使用。

一、发布订阅系统

在学习kafka之前,我们先来看看什么是发布订阅系统。

概念

数据的发送者不会直接把消息发送给接收者,这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类,接受者订阅它们,以便接受特定类型的消息。发布与订阅系统一般会有一个broker,也就是发布消息的中心点,来进行提供服务。

发展历程

先来看第一种简单的消息队列

在这里插入图片描述

随着业务的发展,我们的消息队列需要适应更多的消费者和数据采集来的入口,那么就出现第二种队列架构。

在这里插入图片描述

于是我们尝试着通过一个中间者去把这些消息整合起来,提供一个统一的消息入口和出口。

在这里插入图片描述

同时,针对每一种业务场景,我们也可以形成多个消息队列系统来支撑我们的业务,形成独立的队列系统。

在这里插入图片描述

虽然这种方式比直接使用点对点的连接要好得多,但这里有太多重复的地方,因此而产生的代价就是要为数据队列维护多个系统,每个系统要有各自的缺陷和不足,因此我们迫切的需要一个单一的集中式系统,它可以用来发布通用类型的数据,其规模可以随着公司业务的增长和增长,这就是kafka出现的背景。

二、kafka相关概念

消息和批次

kafka的数据单元被称为消息,类似于我们的关系型数据库中的一个数据行或一条记录。消息有一个可选的元数据,也就是key,kafka会根据这个key生成一个一次性散列值,然后使用该散列值对主题分区数进行取模,为消息进行分区,这样可以保证具有相同key的消息总是被写到相同的分区上。
为了提高发送效率,消息被分批次写入kafka。批次就是一组消息,这些消息属于同一个主题的分区,有利于减少网络传输的开销。不过如果批次过大,则消息发送的时候会产生一定的延迟,所以要在时间延迟和吞吐量之间做出权衡,批次越大,单位时间内处理的消息越多,单位消息的发送时间就越长,批次数据会被压缩,这样就可以提升传输数据和存储能力,但要做更多的计算处理。

主题和分区

kafka的消息通过主题进行分类。主题就好比数据库的表,主题可以分为若干个分区,一个分区就是一个提交日志。消息以追加的方式写入分区,然后以先入先出的顺序读取。
要注意的是,一个主题一般包含几个分区,因此无法在整个主题范围内保证消息的顺序,但可以保证消息在单个分区内的顺序。
kafka通过分区来实现数据冗余和伸缩性,分区可以分布在不同的服务器上,也就是说,一个主题可以横跨多个服务器,以此来提供比单个服务器更强大的性能。
在这里插入图片描述

生产者和消费者

kafka的客户端就是kafka系统的用户,他们被分为两种基本类型:生产者和消费者。

生产者创建消息,一般情况下,一个消息会被发布到一个特定的主题上,通常在默认情况下,把消息均衡的分布到主题的所有分区上,而并不关心特定消息会被写到哪个分区。

不过,在某些情况下,生产者会把消息直接写到指定的分区,这通常是通过消息的key和分区器来实现的,分区器为可以生成一个散列值,并将其映射到指定的分区上,这样就可以保证包含同一个key的消息会被写到同一个分区上,生产者也可以使用自定义的分区器,根据不同的业务规则,将消息映射到对应分区。

消费者读取消息,消费者通过检查消息的偏移量来区分已经读取过的消息。消费者是消费者群组的一部分,说也就是说会有一个和多个消费者共同读取一个主题,群组保证每个分区只能被一个消费者使用。

在这里插入图片描述

Broker和集群

一个独立的kafka服务器被称为broker,broker接受来自生产者的消息,为消息设置偏移量,并提交到磁盘保存。broker也为消费者提供服务,对读取分区的请求作出响应,返回已经提交到磁盘上的消息。

在kafka每一个集群中都有一个broker充当了集群控制器的角色,也就是leader。

在这里插入图片描述

多集群

kafka多集群部署的原因主要是下面几个:

  1. 数据类型分离
  2. 安全需求管理
  3. 多数据中心(灾备容错)

如果使用多个数据中心,就要在他们之间复制消息。kafka的消息复制机制只能在单个集群里进行,不能在多个集群之间进行。
针对集群间的消息复制场景,kafka提供了一个叫做mirrorMaker的工具,它的核心组件包含了一个生产者和消费者两者之间,通过一个队列相连。

目录
相关文章
|
1月前
|
消息中间件 存储 分布式计算
Apache Kafka-初体验Kafka(01)-入门整体认识kafka
Apache Kafka-初体验Kafka(01)-入门整体认识kafka
32 0
|
2月前
|
消息中间件 Java Kafka
kafka入门demo
kafka入门demo
20 0
|
2月前
|
消息中间件 算法 Kafka
Kafka入门,这一篇就够了(安装,topic,生产者,消费者)
Kafka入门,这一篇就够了(安装,topic,生产者,消费者)
76 0
|
5月前
|
消息中间件 存储 Kafka
(四)kafka从入门到精通之安装教程
Kafka是一个高性能、低延迟、分布式的分布式数据库,可以在分布式环境中实现数据的实时同步和分发。Zookeeper是一种开源的分布式数据存储系统,它可以在分布式环境中存储和管理数据库中的数据。它的主要作用是实现数据的实时同步和分发,可以用于实现分布式数据库、分布式文件系统、分布式日志系统等。Zookeeper的设计目标是高可用性、高性能、低延迟,它支持多种客户端协议,包括TCP和HTTP,可以方便地与其他分布式系统进行集成。
79 0
|
5月前
|
消息中间件 传感器 Kafka
(三)kafka从入门到精通之使用场景
Kafka 是一种流处理平台,主要用于处理大量数据流,如实时事件、日志文件和传感器数据等。Kafka的目的是实现高吞吐量、低延迟和高可用性的数据处理。Kafka提供了一个高度可扩展的架构,可以轻松地添加和删除节点,并且能够处理数百亿条消息/分区。Kafka的消息可以容错,即使某个节点失败,消息也会在集群中的其他节点上得到处理。总的来说,Kafka 是一个非常强大的数据处理平台,可以用于实时数据处理、日志文件处理、传感器数据处理和流处理等场景。
41 0
|
5月前
|
消息中间件 监控 关系型数据库
【Kafka系列】(一)Kafka入门(下)
【Kafka系列】(一)Kafka入门(下)
|
5月前
|
消息中间件 存储 Java
【Kafka系列】(一)Kafka入门(上)
【Kafka系列】(一)Kafka入门
|
6月前
|
消息中间件 存储 分布式计算
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(二)
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(二)
|
6月前
|
消息中间件 分布式计算 Kafka
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
Spark学习---6、SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
|
7月前
|
消息中间件 存储 运维
(二)kafka从入门到精通之kafka的优势
咱们这篇内容主要是先来简单的认识一下kafka 的特性,以及常用mq的一些简单对比。
79 1