D011 复制粘贴玩大数据之安装与配置Kafka集群

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: Kafka的获取上传安装包到集群安装Kafka集群Kafka集群校验

0x01 Kafka的获取

1. 官网下载

a. 为了统一,此处下载HBase1.2.6版本 :

http://archive.apache.org/dist/kafka/1.0.0/

选择1.0.0/kafka_2.11-1.0.0.tgz进行下载


0x02 上传安装包到集群

1. 上传安装包到虚拟机

20190312093617136.png

PS:如果不是docker部署的集群,则直接上传到虚拟机即可,因为,每台虚拟机就是一个节点。

2. 复制安装包到master节点

docker cp kafka_2.11-1.0.0.tgz hadoop-master:/root

sh ~/master.sh


0x03 安装Kafka集群

1. 解压Kafka

a. 解压安装包(-C为指定解压到/usr/local路径)

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local


2. 配置Kafka

a. 修改配置文件server.properties($KAFKA_HOME/config):

可查看解压后的文件夹:ll /usr/local/

20190312094006352.png

cd /usr/local/kafka_2.11-1.0.0/config

20190312094246426.png

vi server.properties

  • 修改日志路径:

log.dirs=/root/logs/kafka-logs

  • 修改zookeeper的连接节点(非编辑模式下输入/zookeeper.con可进行查找):

20190312100557574.pngzookeeper.connect=hadoop-master:2181,hadoop-slave1:2181,hadoop-slave2:2181


b. 创建日志路径目录

mkdir -p /root/logs/kafka-logs

c. 配置环境变量(可看到docker生成节点时默认配好的其他环境变量)

vi /etc/profile

export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin

20190312100936842.png

使配置生效(echo一下有内容输入,说明已经配好)

source /etc/profile

3. 在同步Kafka到slave1、slave2

a. 将kafka_2.11-1.0.0拷贝到slave1和slave2上

scp -r /usr/local/kafka_2.11-1.0.0 root@hadoop-slave1:/usr/local/

scp -r /usr/local/kafka_2.11-1.0.0 root@hadoop-slave2:/usr/local/

如果你的windows系统睡眠或者关机了,要在slave1、slave2启动一下ssh(没报错则忽略):

/etc/init.d/ssh start

b. 修改slave1、slave2 配置文件的broker.id

vi /usr/local/kafka_2.11-1.0.0/config/server.properties

slave1的为:broker.id=1

201903121014351.png

slave2的为:broker.id=2

20190312101416988.png

c. 配置slave1、slave2的环境变量,记得要source一下


0x04 Kafka集群校验

1. 确保ZK集群已经启动

a. 查看进程(如有zk进程,则不需执行b.c.步):

~/jps_all.sh


20190312102135899.png

b. 三个节点上启动zk:

source /etc/profile

zkServer.sh start

ps:执行完b步后再查看进程,发现ZK进程都有了

如果zkServer.sh start无法执行,请先source一下环境变量

2. 启动Kafka集群

a. 三个节点均执行(后台启动命令)

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

b. 查看进程(有则表示启动成功)

~/jps_all.sh

20190312102442900.png

ps:也可以这样启动(了解即可):

分别在master、slave1、slave2上执行:

cd /usr/local/kafka_2.11-1.0.0

mkdir logs

nohup bin/kafka-server-start.sh config/server.properties >/usr/local/kafka_2.11-

1.0.0/logs/server.log 2>&1 &


0xFF 总结

  1. 花了很大的力气,终于将大数据常用的组件全部安装好,当然期间肯定还会存在一些小问题,但是问题不大,跟着我的步骤操作下来,一定能够搭建出来的,后期我会一步一步进行优化。而且会出优化及整理文章,请大家留意。



相关文章
zdl
|
3月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
204 56
|
2月前
|
存储 负载均衡 监控
揭秘 Elasticsearch 集群架构,解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎,广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性,包括高可用性和负载均衡,以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
68 0
|
3月前
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
3月前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
4月前
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
83 5
|
4月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
78 4
|
4月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
72 3
|
4月前
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
74 2
|
4月前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
60 2
|
4月前
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
77 1