大数据组件-Zookeeper集群部署

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 大数据组件-Zookeeper集群部署
    • 准备好zookeeper的zookeeper-3.4.10.tar.gz包
    • 在Zookeeper安装集群之前先安装JDK1.8,在并且保证三台node时可以通过网络通信的
    • 在/usr/local/src/下创建zookeeper的家名为zookeeper,三台服务器均创建
    mkdir zookeeper
    • image.gif

    此时的三台服务器配置如下:

    • 在node1上的/usr/local/src/zookeeper下使用rz指令上传centos并解压,剪切到合适到位置
    rz
    # 这里也可以用tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/zookeeper/目录
    tar -zxvf zookeeper-3.4.10.tar.gz
    mv ./* /usr/local/src/zookeeper/

    image.gif

    • 复制zoo_sample.cfg变名为zoo.cfg,并修改zoo.cfg内容
    cp zoo_sample.cfg zoo.cfg

    image.gif

    • zoo.cfg
    #指定数据存放的位置
    dataDir=/usr/local/src/zookeeper/zkdatas
    #保留日志的数量
    autopurge.snapRetainCount=3
    #每隔1小时清理一次日志
    autopurge.purgeInterval=1
    #配置集群的主机
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888



    • 在zookeeper(/usr/local/src/zookeeper/)主目录里创建一个zkdatas文件夹,并创建一个myid保存myid值
    mkdir zkdatas
    vi myid



    • 使用scp将当前的Zookeeper下已经配置的分发给其他远程主机,分发之后去其他主机修改myid文件中的myid值
    scp -r ./* hadoop@node2:$PWD
    scp -r ./* hadoop@node3:$PWD

    image.gif

    • 在三台主机中的zookeeper目录下的bin执行如下命令,即可启动zookeeper
    ./zkServer.sh start
    • image.gif使用jps查看进程,查看到如下说明启动成功
    QuorumPeerMain



    • 在三台主机中的zookeeper目录下的bin执行如下命令,使用如下命令查看zookeeper集群的角色情况
    ./zkServer.sh status

    image.gif

    相关实践学习
    基于MSE实现微服务的全链路灰度
    通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
    相关文章
    |
    29天前
    |
    存储 分布式计算 API
    大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
    大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
    73 0
    |
    30天前
    |
    消息中间件 监控 Ubuntu
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    64 3
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    |
    28天前
    |
    SQL 存储 分布式计算
    大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
    大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
    23 9
    |
    29天前
    |
    消息中间件 监控 Java
    大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
    大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
    56 1
    |
    2月前
    |
    存储 分布式计算 资源调度
    两万字长文向你解密大数据组件 Hadoop
    两万字长文向你解密大数据组件 Hadoop
    116 11
    |
    3月前
    |
    前端开发 大数据 数据库
    🔥大数据洪流下的决战:JSF 表格组件如何做到毫秒级响应?揭秘背后的性能魔法!💪
    【8月更文挑战第31天】在 Web 应用中,表格组件常用于展示和操作数据,但在大数据量下性能会成瓶颈。本文介绍在 JavaServer Faces(JSF)中优化表格组件的方法,包括数据处理、分页及懒加载等技术。通过后端分页或懒加载按需加载数据,减少不必要的数据加载和优化数据库查询,并利用缓存机制减少数据库访问次数,从而提高表格组件的响应速度和整体性能。掌握这些最佳实践对开发高性能 JSF 应用至关重要。
    65 0
    |
    5月前
    |
    存储 分布式计算 大数据
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    |
    5月前
    |
    分布式计算 资源调度 Hadoop
    大数据Hadoop集群部署与调优讨论
    大数据Hadoop集群部署与调优讨论
    |
    6月前
    |
    SQL 分布式计算 资源调度
    常用大数据组件的Web端口号总结
    这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
    181 2
    常用大数据组件的Web端口号总结
    |
    6月前
    |
    消息中间件 分布式计算 大数据
    大数据组件之storm简介
    大数据组件之storm简介
    149 2