Apache Doris Routine Load快速体验之Kafka部署（1）
环境信息
硬件信息
- 1.CPU ：4C
- 2.CPU型号：ARM64
- 3.内存 ：10GB
- 4.硬盘 ：66GB SSD
软件信息
- 1.VM镜像版本 ：CentOS-7
- 2.Apahce Doris版本 ：1.2.4.1
- 3.Kafka版本：3.2.0
- 4.Zookeeper版本：3.6.4
Kafka介绍
Apache Kafka 是一个高效、可扩展的、高吞吐的、可容错的分布式发布订阅式的消息系统，能够将消息数据从一个端点传递到另一个端点，较之传统的消息中间件(例如 RocketMQ、RabbitMQ)，Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息数据处理。
Zookeeper安装部署
本文使用kafka默认自带的zk，后续可以改为自己单独部署的zk
下载Zookeeper
#下载zk包 wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz #创建安装文件夹 mkdir -p /opt/zk3.6.4 cd /opt/zk3.6.4 #解压安装 tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz mv apache-zookeeper-3.6.4-bin.tar.gz/* ./ rm -rf apache-zookeeper-3.6.4-bin.tar.gz*
安装Zookeeper及初始化
#生产zk配置文件 cd /opt/zk3.6.4/conf/ cp zoo_sample.cfg zoo.cfg #修改zoo.cfg配置 dataDir=/home/zookeeper/data dataDir=/home/zookeeper/log server.1=localhost:2888:3888 #创建相关目录 mkdir -p /home/zookeeper/data mkdir -p /home/zookeeper/log
Kafka安装部署
下载Kafka
#根据自己scala版本和系统进行下载 wget https://archive.apache.org/dist/kafka/3.2.0/kafka_2.12-3.2.0.tgz #创建安装文件夹 mkdir -p /opt/kafka3.2 cd /opt/kafka3.2 #解压安装 tar -xvf kafka_2.12-3.2.0.tgz mv kafka_2.12-3.2.0.tgz/* ./ rm -rf kafka_2.12-3.2.0.tgz* #创建日志目录 mkdir logs
安装Kafka及初始化
修改kafka-server配置
#修改kafka-server的配置文件 vim config/server.properties #修改如下 log.dirs=/opt/kafka3.2/logs listeners=PLAINTEXT://doris:9092 auto.create.topics.enable=true #其它的如果是单机可以不用改 port=9092 #端口号 host.name=localhost #单机可直接用localhost log.dirs=/opt/monitor/kafka/kafka_dat #日志存放路径可修改可不修改 zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
修改自带zk配置
也可以自己另外部署zk不适用自带的zk
vim config/zookeeper.properties #修改如下 tickTime=2000 dataDir=/opt/kafka3.2/zookeeper_data #创建zk的数据存储目录 mkdir /opt/kafka3.2/zookeeper_data
启动Kafka和ZK
启动zk
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties
启动kafka
./bin/kafka-server-start.sh -daemon ./config/server.properties #jps查看进程 jps
