大数据组件-Zookeeper集群部署

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 大数据组件-Zookeeper集群部署
    • 准备好zookeeper的zookeeper-3.4.10.tar.gz包
    • 在Zookeeper安装集群之前先安装JDK1.8,在并且保证三台node时可以通过网络通信的
    • 在/usr/local/src/下创建zookeeper的家名为zookeeper,三台服务器均创建
    mkdir zookeeper
    • image.gif

    此时的三台服务器配置如下:

    • 在node1上的/usr/local/src/zookeeper下使用rz指令上传centos并解压,剪切到合适到位置
    rz
    # 这里也可以用tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/zookeeper/目录
    tar -zxvf zookeeper-3.4.10.tar.gz
    mv ./* /usr/local/src/zookeeper/

    image.gif

    • 复制zoo_sample.cfg变名为zoo.cfg,并修改zoo.cfg内容
    cp zoo_sample.cfg zoo.cfg

    image.gif

    • zoo.cfg
    #指定数据存放的位置
    dataDir=/usr/local/src/zookeeper/zkdatas
    #保留日志的数量
    autopurge.snapRetainCount=3
    #每隔1小时清理一次日志
    autopurge.purgeInterval=1
    #配置集群的主机
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888



    • 在zookeeper(/usr/local/src/zookeeper/)主目录里创建一个zkdatas文件夹,并创建一个myid保存myid值
    mkdir zkdatas
    vi myid



    • 使用scp将当前的Zookeeper下已经配置的分发给其他远程主机,分发之后去其他主机修改myid文件中的myid值
    scp -r ./* hadoop@node2:$PWD
    scp -r ./* hadoop@node3:$PWD

    image.gif

    • 在三台主机中的zookeeper目录下的bin执行如下命令,即可启动zookeeper
    ./zkServer.sh start
    • image.gif使用jps查看进程,查看到如下说明启动成功
    QuorumPeerMain



    • 在三台主机中的zookeeper目录下的bin执行如下命令,使用如下命令查看zookeeper集群的角色情况
    ./zkServer.sh status

    image.gif

    相关实践学习
    基于MSE实现微服务的全链路灰度
    通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
    相关文章
    |
    5月前
    |
    JavaScript 大数据 Python
    原生大数据|elasticSearch|低版本kibana组件的汉化
    原生大数据|elasticSearch|低版本kibana组件的汉化
    29 0
    |
    5月前
    |
    存储 分布式计算 负载均衡
    【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
    【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
    68 0
    |
    5天前
    |
    消息中间件 分布式计算 大数据
    大数据组件之storm简介
    大数据组件之storm简介
    22 2
    |
    7天前
    |
    SQL 分布式计算 资源调度
    常用大数据组件的Web端口号总结
    这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
    19 2
    常用大数据组件的Web端口号总结
    |
    11天前
    |
    监控 大数据 数据处理
    大数据组件之Storm简介
    【5月更文挑战第2天】Apache Storm是用于实时大数据处理的分布式系统,提供容错和高可用的实时计算。核心概念包括Topology(由Spouts和Bolts构成的DAG)、Spouts(数据源)和Bolts(数据处理器)。Storm通过acker机制确保数据完整性。常见问题包括数据丢失、性能瓶颈和容错理解不足。避免这些问题的方法包括深入学习架构、监控日志、性能调优和编写健壮逻辑。示例展示了实现单词计数的简单Topology。进阶话题涵盖数据延迟、倾斜的处理,以及Trident状态管理和高级实践,强调调试、性能优化和数据安全性。
    22 4
    |
    2月前
    |
    算法 Java Linux
    zookeeper单机伪集群集群部署
    zookeeper单机伪集群集群部署
    88 0
    |
    7月前
    |
    数据采集 消息中间件 监控
    大数据组件-Flume集群环境搭建
    大数据组件-Flume集群环境搭建
    120 0
    |
    5月前
    |
    监控 物联网 大数据
    助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
    助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
    49 0
    |
    5月前
    |
    大数据 Java 分布式数据库
    使用记忆法打造你的大数据组件的默认端口号记忆宫殿
    使用记忆法打造你的大数据组件的默认端口号记忆宫殿
    32 0
    |
    5月前
    |
    大数据
    大数据组件的默认端口号思维导图
    大数据组件的默认端口号思维导图
    25 0