一、kafka概述
1.1、定义
Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域
1.2、消息队列
1.2.1、传统的消息队列&新式的消息队列的模式
上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户
而新式的队列是，比如一个用户注册信息，数据直接丢进数据库，就直接返回给用户成功
1.2.2、使用消息队列的好处
A、 解耦
B、 可恢复性
C、 缓冲
D、 灵活性&峰值处理能力
E、 异步通信
1.2.3、消息队列的模式
A、点对点模式
消息生产者发送消息到消息队列中，然后消息消费者从队列中取出并且消费消息，消息被消费后，队列中不在存储。所以消息消费者不可能消费到已经被消费的消息；队列支持存在多个消费者，但是对于一个消息而言，只会 有一个消费者可以消费；如果想发给多个消费者，则需要多次发送该条消息
B】发布/订阅模式（一对多，消费者消费数据之后不会清除消息）
消息生产者将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息，和点对点的方式不同，发布到topic的消息会被所有的订阅者消费；但是数据保留是期限的，默认是7天，因为他不是存储系统；kafka就是这种模式的；有两种方式，一种是是消费者去主动去消费（拉取）消息，而不是生产者推送消息给消费者；另外一种就是生产者主动推送消息给消费者，类似公众号
1.3、kafka的基础架构
kafka的基础架构主要有broker、生产者、消费者组构成，当前还包括zookeeper
生产者负责发送消息
broker负责缓冲消息，broker中可以创建topic，每个topic又有partition和replication的概念
消费者组负责处理消息，同一个消费者组的中消费者不能消费同一个partition中的数据，消费者组主要是提高消费能力，比如之前是一个消费者消费100条数据，现在是2个消费者消费100条数据，可以提高消费能力；所以消费者组的消费者的个数要小于partition的个数，不然就会有消费者没有partition可以消费，造成资源的浪费
注：但是不同的消费者组的消费者是可以消费相同的partition数据
Kakfa如果要组件集群，则只需要注册到一个zk中就可以了，zk中还保留消息消费的进度或者说偏移量或者消费位置
0.9版本之前偏移量存储在zk
0.9版本之后偏移量存储在kafka中，kafka定义了一个系统的topic，专用用来存储偏移量的数据；
为什么要改？主要是考虑到频繁更改偏移量，对zk的压力较大，而且kafka本身自己的处理也较复杂
1.4、kafka安装
A、Kafka的安装只需要解压安装包就可以完成安装
1
tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/
B、查看配置文件
[root@es1 config]# pwd /usr/local/kafka/config [root@es1 config]# ll total 84 -rw-r--r--. 1 root root 906 Feb 8 2019 connect-console-sink.properties -rw-r--r--. 1 root root 909 Feb 8 2019 connect-console-source.properties -rw-r--r--. 1 root root 5321 Feb 8 2019 connect-distributed.properties -rw-r--r--. 1 root root 883 Feb 8 2019 connect-file-sink.properties -rw-r--r--. 1 root root 881 Feb 8 2019 connect-file-source.properties -rw-r--r--. 1 root root 1111 Feb 8 2019 connect-log4j.properties -rw-r--r--. 1 root root 2262 Feb 8 2019 connect-standalone.properties -rw-r--r--. 1 root root 1221 Feb 8 2019 consumer.properties -rw-r--r--. 1 root root 4727 Feb 8 2019 log4j.properties -rw-r--r--. 1 root root 1925 Feb 8 2019 producer.properties -rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties -rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties -rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties -rw-r--r--. 1 root root 1032 Feb 8 2019 tools-log4j.properties -rw-r--r--. 1 root root 1169 Feb 8 2019 trogdor.conf -rw-r--r--. 1 root root 1023 Feb 8 2019 zookeeper.properties
C、修改配置文件server.properties
设置broker.id 这个是kafka集群区分每个节点的唯一标志符
D、设置kafka的数据存储路径
注：这个目录下不能有其他非kafka的目录，不然会导致kafka集群无法启动
E、设置是否可以删除topic，默认情况先kafka的topic是不允许删除的
F、Kafka的数据保留的时间，默认是7天
G、Log文件最大的大小，如果log文件超过1g会创建一个新的文件
H、Kafka连接的zk的地址和连接kafka的超时时间
J、默认的partition的个数
1.5、启动kafka
A、启动方式1，kafka只能单节点启动，所以每个kakfa节点都需要手动启动，下面的方式阻塞的方式启动
B、启动方式2，守护的方式启动，推荐
1.6、kafka操作
A、查看当前kafka集群已有的topic
注意：这里连接的zookeeper，而不是连接的kafka
B、创建topic，指定分片和副本个数
注：
replication-factor：副本数
replication-factor：分区数
Topic：主题名
如果当前kafka集群只有3个broker节点，则replication-factor最大就是3了，下面的例子创建副本为4，则会报错
C、删除topic
D、查看topic信息
1.7、启动生产者生产消息，kafka自带一个生产者和消费者的客户端
A、启动一个生产者，注意此时连的9092端口，连接的kafka集群
B、启动一个消费者，注意此时连接的还是9092端口，在0.9版本之前连接的还是2181端口
这里我们启动2个消费者来测试一下
注：如果不指定的消费者组的配置文件的话，默认每个消费者都属于不同的消费者组
C、发送消息，可以看到每个消费者都能收到消息
D、Kakfa中的实际的数据
二、kafka架构深入
Kafka不能保证消息的全局有序，只能保证消息在partition内有序，因为消费者消费消息是在不同的partition中随机的
2.1、kafka的工作流程
Kafka中的消息是以topic进行分类的，生产者生成消息，消费者消费消息，都是面向topic的
Topic是一个逻辑上的概念，而partition是物理上的概念
每个partition又有副本的概念
每个partition对应于一个log文件，该log文件中存储的就是生产者生成的数据，生产者生成的数据会不断的追加到该log的文件末端，且每条数据都有自己的offset，消费者都会实时记录自己消费到了那个offset，以便出错的时候从上次的位置继续消费，这个offset就保存在index文件中
kafka的offset是分区内有序的，但是在不同分区中是无顺序的，kafka不保证数据的全局有序
2.2、kafka原理
由于生产者生产的消息会不断追加到log文件的末尾，为防止log文件过大导致数据定位效率低下，Kafka采用分片和索引的机制，将每个partition分为多个segment，每个segment对应2个文件----index文件和log文件，这2个文件位于一个相同的文件夹下，文件夹的命名规则为topic名称+分区序号
Indx和log的文件的文件名是当前这个索引是最小的数据的offset
Kafka如何快速的消费数据呢？
Index文件中存储的数据的索引信息，第一列是offset，第二列这这个数据所对应的log文件中的偏移量，就像我们去读文件，使用seek（）设置当前鼠标的位置一样，可以更快的找到数据
如果要去消费offset为3的数据，首先通过二分法找到数据在哪个index文件中，然后在通过index中offset找到数据在log文件中的offset；这样就可以快速的定位到数据，并消费
所以kakfa虽然把数据存储在磁盘中，但是他的读取速度还是非常快的
