三台PC服务器部署Hadoop HA(Hadoop 高可用性架构)

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 写在前边的话:        转载请注明出处:@http://blog.csdn.net/gamer_gyt,Thinkagmer 撰写        之前是在自己电脑上部署的hadoop集群,但并未涉及到HA配置,这次将集群迁移到PC服务器,但是问题来了,只有三台,但是我还想配置HA,PC服务器是CentOS6.5,原来想着在上边部署VM,从而部署HA集群,但经测试,未果,遂弃之,就想到了在三台机器上部署HA集群。

写在前边的话:

        转载请注明出处:@http://blog.csdn.net/gamer_gyt,Thinkagmer 撰写

        之前是在自己电脑上部署的hadoop集群,但并未涉及到HA配置,这次将集群迁移到PC服务器,但是问题来了,只有三台,但是我还想配置HA,PC服务器是CentOS6.5,原来想着在上边部署VM,从而部署HA集群,但经测试,未果,遂弃之,就想到了在三台机器上部署HA集群。

         hadoop伪分布部署参考:点击打开链接
         hadoop单机版部署参考:点击打开链接
         zookeeper,hive,hbase的分布式部署参考:点击链接
         Spark,Sqoop,Mahout的分布式部署参考:点击链接

         步骤和部署hadoop集群(点击阅读)是一样的,只是这里加入了HA的一些配置,记录如下

         关于HA架构的知识请移步该篇博客:Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation


一:架构说明

     IP                            hostname               role

    192.168.132.27       master1                  主节点

    192.168.132.28       master2                  备份主节点

    192.168.132.29       slaver1                    从节点


    zookeeper的三个节点集群,部署在这三台机子上


二:部署Zookeeper

       Hadoop HA的部署依赖于ZK来切换主节点,所以在部署Hadoop HA之前需要先把Zookeeper集群搞定,部署参考:点击阅读


三:部署HA

       1:文件配置

       除了配置文件mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml之外和hadoo集群部署一样,这里不做陈述,可参考:点击阅读

       mapred-site.xml:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

       core-site.xml:

<configuration>
  <!-- 指定hdfs的nameservice为ns -->
  <property>    
      <name>fs.defaultFS</name>    
      <value>hdfs://master</value>    
      <!--1.x中为fs.default.name, 一定得是namenode的hostname或者 ip,并且不用加端口号(这里的名称与HA配置hdfs-site.xml中的dfs.nameservices必须保持一致) -->  
  </property>
 
  <property>  
    <name>hadoop.tmp.dir</name>  
    <value>/opt/bigdata/hadoop/tmp</value>  
    <!-- 指定hadoop临时目录 -->
  </property>   

  <!-- 配置HA时才用配置该项 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>master1:2181,master2:2181,slaver1:2181</value>
    <!--各个ZK节点的IP/host,及客户端连接ZK的端口,该端口需与zoo.cfg中的 clientPort一致! -->
  </property>
</configuration>

       hdfs-site.xml:

<configuration>
<property>  
    <name>dfs.replication</name>  
    <value>2</value>  
  </property>  
  <property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:///opt/bigdata/hadoop/dfs/name</value>  
  </property>  
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:///opt/bigdata/hadoop/dfs/data</value>  
  </property>  
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 --> 
  </property>

  <!-- HA配置需要加如下配置-->
  <property>
    <name>dfs.nameservices</name>
    <value>master</value>
    <!--给hdfs集群起名字,这个名字必须和core-site中的统一,且下面也会用到该名字,需要和core-site.xml中的保持一致 -->
  </property>

  <property>
    <name>dfs.ha.namenodes.master</name>
    <value>nn1,nn2</value>
    <!-- master1下面有两个NameNode,分别是nn1,nn2,指定NameService是cluster1时的namenode有哪些,这里的值也是逻辑名称,名字随便起,相互不重复即可 -->
  </property>

  <property>
    <name>dfs.namenode.rpc-address.master.nn1</name>
    <value>master1:9000</value>
    <!-- nn1的RPC通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.rpc-address.master.nn2</name>
    <value>master2:9000</value>
    <!-- nn2的RPC通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.http-address.master.nn1</name>
    <value>master1:50070</value>
    <!-- nn1的http通信地址 -->
  </property>
  <property>
    <name>dfs.namenode.http-address.master.nn2</name>
    <value>master2:50070</value>
    <!-- nn2的http通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.servicerpc-address.master.nn1</name>
    <value>master1:53310</value>
  </property>

  <property>
    <name>dfs.namenode.servicerpc-address.master.nn2</name>
    <value>master2:53310</value>
  </property>

  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master1:8485;master2:8485;slaver1:8485/master</value>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  </property> 

  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/bigdata/hadoop/dfs/jndata</value>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value>
    <!-- 开启NameNode失败自动切换 -->
  </property>

  <property>
    <name>dfs.client.failover.proxy.provider.master</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <!-- 配置失败自动切换实现方式 -->
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
    <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
  </property>

  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  </property>

  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>3000</value>
    <!-- 配置sshfence隔离机制超时时间 -->
  </property>

</configuration>

       yarn-site.xml:

<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
    <!-- 开启RM高可用 -->
  </property>
  
  <property>
    <!--启动自动故障转移,默认为false-->
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <property>
    <!--启用一个内嵌的故障转移,与ZKRMStateStore一起使用。-->
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
    <value>true</value>
  </property>
 
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
    <!-- 指定RM的cluster id -->
  </property>

  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
    <!-- 指定RM的名字 -->
  </property>
 
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master1</value>
    <!-- 分别指定RM的地址 -->
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>master2</value>
    <!-- 分别指定RM的地址 -->
  </property>

  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>     
    <!--如果是在主NN上 这里写rm1   如果这个配置文件是在备NN上 这里写rm2,否则RM的高可用会出问题-->
    <description>If we want to launch more than one RM in single node, we need this configuration</description>
  </property> 

  <property>  
    <name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value>  
  </property>  

  <property>  
    <name>yarn.resourcemanager.store.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  
  </property>    

  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master1:2181,master2:2181,slaver1:2181</value>
    <!-- 指定zk集群地址 -->
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>

       2:启动服务,测试NameNode的自动切换

       PS:一定要注意启动的顺序,否则会出现各种各样的错误,亲测

       每台机器上启动Zookeeper:bin/zkServer.sh start 

       zookeeper集群格式化(任意一个主节点上执行即可):bin/hdfs zkfc -formatZK 

       每台机器上启动 journalnode:sbin/hadoop-daemon.sh start journalnode (如果这里不启动的话,在进行hdfs格式化的时候就会报错,同时这个进程只需在格式化的时候启动,后续启动服务则不需要)

       hdfs集群格式化(master1上进行):bin/hadoop namenode -format

       看到 “0” 表示成功了

       

       master1机器上启动服务:sbin/start-dfs.sh      sbin/start-yarn.sh

       执行jps查看进行如下(master1,master2,slaver1):

            

       master1(192.168.132.27)的web界面显示如下:

       

         备用NN同步主NN的元数据信息(master2上执行): bin/hdfs namenode -bootstrapStandby

         启动备用NN(master2上执行): sbin/hadoop-daemon.sh start namenode

         执行jps(master2上执行):

         

         Web访问:



         测试主NN和备用NN的切换:kill掉主NN进程  kill namenode_id

         再次刷新master2对应的web,实现自动切换:

    


         3:测试Resourcemanager自动切换

              访问主NN的8088端口如下:

    

            备用NN的8088端口:

      

       kill 掉主NN的resourcemanager服务再次访问从NN的8088端口

       

        OK!大功告成

四:遇见的问题

       1:NameNode格式化失败

            错误:failed on connection exception: java.net.ConnectException: Connection refused

            解决办法:先启动Zookeeper集群,在用sbin/hadoop-daemon.sh start journalnode 启动各个NameNode上的JournalNode进程,然后再进行格式化

            该错误参考博客:http://blog.csdn.net/u014729236/article/details/44944773

     2:Web显示live nodes 为 0

       

        解决办法:注释掉机子上 hosts文件中的原本的两行

        

     3:master2的NameNode和 ResourceManager不能启动

          查看日志发现错误
2016-08-30 06:10:57,558 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: master1:8088
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:919)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:856)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:274)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:974)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1074)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1208)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:914)
        ... 6 more
          端口被占用了,这时候要修改yarn-site.xml 中
 <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm2</value>
    <description>If we want to launch more than one RM in single node, we need this configuration</description>
  </property>
         此时再次启动OK

      4:NameNode不能自动切换

           hdfs-site.xml通过dfs.ha.fencing.methods控制自动切换的方法, sshfence是系统默认的并不能自动切换,这里可以换成
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
    <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
  </property>
 

五:总结

       在配置的过程中遇到了很多问题,参考了很多资料,但很多事情就是看着别人很顺利的完成,可是到了你这里就会出现各种错误,殊不知别人也是经历过各种调试才出的结果,所以不要灰心,在配置的过程中多看看日志,所有的错误都会在日志中显示,相信你会成功的。
相关文章
|
9天前
|
存储 关系型数据库 数据库
给阿里云的建议和意见 一个云服务器架构是否可行
摘要(Markdown格式): 在修复阿里云服务器IPv4设置错误时遇到困难,导致服务器远程登录失败及外网访问受阻,耗时三天解决。建议阿里云更新文档,确保设置指导与实际情况一致,例如只需在路由表添加条目关联IPv4。此外,建议优化帮助页面,如采用折叠式设计减少干扰。服务器主要任务是数据分析、存储和分发,文中提出简化服务器框架,消除硬件软件复杂配置,利于初学者和独立开发者快速上手,降低时间成本。该设计旨在减少无用组件,节省资源,同时降低云服务商的人力和支持成本。期望云服务商考虑此类架构创新。目前未知是否有类似产品,期待业界反馈。
706 0
给阿里云的建议和意见 一个云服务器架构是否可行
|
1天前
|
监控 NoSQL Ubuntu
|
1天前
|
域名解析 网络协议 安全
服务器部署后 访问出错的原因和解决办法
部署到服务器后无法访问可能是由于配置错误、权限问题或网络设置不当。解决办法包括检查服务器配置文件、确保文件路径正确、调整权限设置以及检查防火墙和端口设置。
10 0
|
14天前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
24 2
若依修改,若依部署在本地运行时的注意事项,后端连接了服务器,本地的vue.config.js要先改成localhost:端口号与后端匹配,部署的时候再改公网IP:端口号
若依修改,若依部署在本地运行时的注意事项,后端连接了服务器,本地的vue.config.js要先改成localhost:端口号与后端匹配,部署的时候再改公网IP:端口号
|
16天前
|
NoSQL 关系型数据库 MySQL
多机部署:打造内网服务器集群
在多机部署教程中,了解如何配置分布式应用如Laravel以使用Redis同步用户状态。关键步骤包括:修改MySQL的`bind-address`至内网IP,重启服务;同样修改Redis的`bind`,重启服务;以及调整Elasticsearch的`network.host`和`discovery.seed_hosts`,并重启。通过这些步骤,确保服务间能内网通信,实现多服务器状态同步。
29 2
|
16天前
|
弹性计算 运维 Kubernetes
阿里云ECS与混合云策略的结合,不仅为企业搭建了一个既灵活又稳定的IT基础架构,还为业务的快速发展与创新提供了坚实的技术支撑。
【7月更文挑战第3天】阿里云ECS在混合云中扮演关键角色,提供弹性计算资源和多样计费模式,确保业务连续性与灵活性。通过VPC互通、应用迁移、数据同步服务,如VPC对等连接、DTS,实现云上云下资源的高效整合。结合安全解决方案,保证在混合环境下的合规与安全。阿里云ECS助力企业数字化转型,应对市场变化。
51 1
|
16天前
|
缓存 弹性计算 应用服务中间件
阿里云服务器部署Jupyter私房菜
在阿里云ECS上,选用2核2G的配置,安装Ubuntu 22.04,然后部署Nginx作为Jupyter Notebook的反向代理。安装Miniconda3,配置清华TUNA镜像源以加速下载。创建Jupyter Notebook,设置密码和远程访问,通过Nginx配置实现安全访问。整个过程包括安装Jupyter,修改Nginx配置,最后通过浏览器访问 Notebook。
阿里云服务器部署Jupyter私房菜
|
18天前
|
运维 Cloud Native 云计算
云原生架构的演进:从微服务到无服务器计算
【6月更文挑战第30天】 在数字化转型和技术创新的浪潮中,云原生技术以其灵活性、可扩展性和成本效益成为企业IT战略的核心。本文将探索云原生架构的关键概念,从早期的微服务架构到现代的无服务器计算模型,揭示这一演变如何推动企业更高效地开发、部署和管理应用程序。我们将深入讨论这些技术背后的原理,以及它们如何帮助企业实现敏捷性、弹性和自动化运维。
|
9天前
|
机器学习/深度学习 监控 Serverless
无服务器架构(Serverless)
无服务器架构(Serverless)