大数据组件-Zookeeper集群部署

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据组件-Zookeeper集群部署
    • 准备好zookeeper的zookeeper-3.4.10.tar.gz包
    • 在Zookeeper安装集群之前先安装JDK1.8,在并且保证三台node时可以通过网络通信的
    • 在/usr/local/src/下创建zookeeper的家名为zookeeper,三台服务器均创建
    mkdir zookeeper
    • image.gif

    此时的三台服务器配置如下:

    • 在node1上的/usr/local/src/zookeeper下使用rz指令上传centos并解压,剪切到合适到位置
    rz
    # 这里也可以用tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/src/zookeeper/目录
    tar -zxvf zookeeper-3.4.10.tar.gz
    mv ./* /usr/local/src/zookeeper/

    image.gif

    • 复制zoo_sample.cfg变名为zoo.cfg,并修改zoo.cfg内容
    cp zoo_sample.cfg zoo.cfg

    image.gif

    • zoo.cfg
    #指定数据存放的位置
    dataDir=/usr/local/src/zookeeper/zkdatas
    #保留日志的数量
    autopurge.snapRetainCount=3
    #每隔1小时清理一次日志
    autopurge.purgeInterval=1
    #配置集群的主机
    server.1=node1:2888:3888
    server.2=node2:2888:3888
    server.3=node3:2888:3888



    • 在zookeeper(/usr/local/src/zookeeper/)主目录里创建一个zkdatas文件夹,并创建一个myid保存myid值
    mkdir zkdatas
    vi myid



    • 使用scp将当前的Zookeeper下已经配置的分发给其他远程主机,分发之后去其他主机修改myid文件中的myid值
    scp -r ./* hadoop@node2:$PWD
    scp -r ./* hadoop@node3:$PWD

    image.gif

    • 在三台主机中的zookeeper目录下的bin执行如下命令,即可启动zookeeper
    ./zkServer.sh start
    • image.gif使用jps查看进程,查看到如下说明启动成功
    QuorumPeerMain



    • 在三台主机中的zookeeper目录下的bin执行如下命令,使用如下命令查看zookeeper集群的角色情况
    ./zkServer.sh status

    image.gif

    相关实践学习
    基于MSE实现微服务的全链路灰度
    通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
    相关文章
    |
    3月前
    |
    存储 分布式计算 API
    大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
    大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
    144 0
    |
    2月前
    |
    SQL 数据采集 分布式计算
    【赵渝强老师】基于大数据组件的平台架构
    本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
    284 3
    【赵渝强老师】基于大数据组件的平台架构
    |
    3月前
    |
    消息中间件 监控 Ubuntu
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    111 3
    大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
    |
    3月前
    |
    SQL 存储 分布式计算
    大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
    大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解
    54 9
    |
    2月前
    |
    SQL 分布式计算 大数据
    【赵渝强老师】大数据生态圈中的组件
    本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。
    |
    3月前
    |
    消息中间件 监控 Java
    大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
    大数据-109 Flink 体系结构 运行架构 ResourceManager JobManager 组件关系与原理剖析
    94 1
    |
    4月前
    |
    存储 分布式计算 资源调度
    两万字长文向你解密大数据组件 Hadoop
    两万字长文向你解密大数据组件 Hadoop
    170 11
    |
    5月前
    |
    前端开发 大数据 数据库
    🔥大数据洪流下的决战:JSF 表格组件如何做到毫秒级响应?揭秘背后的性能魔法!💪
    【8月更文挑战第31天】在 Web 应用中,表格组件常用于展示和操作数据,但在大数据量下性能会成瓶颈。本文介绍在 JavaServer Faces(JSF)中优化表格组件的方法,包括数据处理、分页及懒加载等技术。通过后端分页或懒加载按需加载数据,减少不必要的数据加载和优化数据库查询,并利用缓存机制减少数据库访问次数,从而提高表格组件的响应速度和整体性能。掌握这些最佳实践对开发高性能 JSF 应用至关重要。
    81 0
    |
    7月前
    |
    存储 分布式计算 大数据
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    Hadoop 生态圈中的组件如何协同工作来实现大数据处理的全流程
    |
    7月前
    |
    分布式计算 资源调度 Hadoop
    大数据Hadoop集群部署与调优讨论
    大数据Hadoop集群部署与调优讨论