一、kafka简介
kafka是分布式的、基于发布/订阅模式的消息队列。
a系统获取b系统的数据，不是直接获取，而是通过消息队列获取。
作用：解耦，削峰填谷
如果公司用spark作为数据分析框架，那么90%的概率使用kafka
二、docker 安装kafka集群
(一)安装docker-compose
下载最新版的docker-compose文件 curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose 添加可执行权限 chmod +x /usr/local/bin/docker-compose 测试安装结果 docker-compose --version >> docker-compose version 1.25.1, build a82fef07
（二）拉取镜像
docker pull zookeeper:3.4 docker pull wurstmeister/kafka:2.13-2.7.0 docker pull sheepkiller/kafka-manager:latest
创建集群网络 docker network create --driver bridge --subnet 192.168.0.0/24 --gateway 192.168.0.1 kafka 查看 docker network ls
网络设置：
echo "net.ipv4.ip_forward=1" >>/usr/lib/sysctl.d/00-system.conf
systemctl restart network && systemctl restart docker
将三个yml文件保存到centos系统中的 /opt/file/kafka 目录里
docker-compose -f /opt/file/kafka/docker-compose-zookeeper.yml up -d docker-compose -f /opt/file/kafka/docker-compose-kafka.yml up -d docker-compose -f /opt/file/kafka/docker-compose-manager.yml up -d
浏览器访问宿主机：http://192.168.1.167:9000/
