1、kafka代码参考：
2、入门：
2.1、kafka的定义：
Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
2.2、kafka基本术语：
消息：kafka中的数据单元被称为消息，也被成为记录，可以把它看作数据库表中的某一行记录。
批次：为了提高效率，消息会分批次写入kafka,批次就代指是一组消息。
主题：消息的种类称为主题（topic）,可以说一个主题就代表了一类消息。相当于是对消息的分类，主题就像数据库中的表。
生产者：向主题发布消息的客户端应用程序称为 生产者（producer）,生产者用于持续不断的向某个主题发送消息。
消费者：订阅主题消息的客户端程序称为 消费者（consumer）,消费者用于处理生产者产生的消息。
消费者群组：生产者与消费者的关系就像一个厨师对应多个顾客一样。也就是一个生产者对应多个消费者。 消费者群组（Consumer Group）指的就是由一个或多个消费者组成的群体.
分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上面，由此来实现kafka的伸缩性，单一主题中的分区有序，但是没法保证主题中所有的分区有序。 Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。 每个 Partition 都是一个单独的 log 文件，每条记录都以追加的形式写入。
偏移量：偏移量（Consumer Offset）是一种元数据，它是一个不断递增的整数值， Partition 中的每条记录都会被分配一个唯一的序号,l称为 Offset（偏移量）。 Offset 是一个递增的、不可变的数字，由 Kafka 自动维护.
当一条记录写入 Partition 的时候，它就被追加到 log 文件的末尾，并被分配一个序号，作为 Offset。
如上图，这个 Topic 有 3 个 Partition 分区，向 Topic 发送消息的时候，实际上是被写入某一个 Partition，并赋予 Offset。
消息的顺序性需要注意，一个 Topic 如果有多个 Partition 的话，那么从 Topic 这个层面来看，消息是无序的。但单独看 Partition 的话，Partition 内部消息是有序的。
所以，一个 Partition 内部消息有序，一个 Topic 跨 Partition 是无序的。如果强制要求 Topic 整体有序，就只能让 Topic 只有一个 Partition。
broker: 一个独立的 Kafka 服务器就被称为 broker，broker 接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。
broker 集群：broker 是集群 的组成部分，broker 集群由一个或多个 broker 组成，每个集群都有一个 broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。
副本：Kafka 中消息的备份又叫做 副本（Replica），副本的数量是可以配置的，Kafka 定义了两类副本：领导者副本（Leader Replica） 和 追随者副本（Follower Replica），前者对外提供服务，后者只是被动跟随。
重平衡：Rebalance。消费者组内某个消费者实例挂掉后，其他消费者实例自动重新分配订阅主题分区的过程。Rebalance 是 Kafka 消费者端实现高可用的重要手段。
2.3、kafka的特性
高吞吐、低延迟：kakfa 最大的特点就是收发消息非常快，kafka 每秒可以处理几十万条消息，它的最低延迟只有几毫秒。
高伸缩性：每个主题(topic) 包含多个分区(partition)，主题中的分区可以分布在不同的主机(broker)中。
持久性、可靠性：Kafka 能够允许数据的持久化存储，消息被持久化到磁盘，并支持数据备份防止数据丢失，Kafka 底层的数据存储是基于 Zookeeper 存储的，Zookeeper 我们知道它的数据能够持久存储。
容错性：允许集群中的节点失败，某个节点宕机，Kafka 集群能够正常工作
高并发：支持数千个客户端同时读写。
