搭建大数据运行环境之二(2)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 搭建大数据运行环境之二(2)

在hadoop1上格式化namenode数据


cd /usr/local/hadoop/bin
hdfs namenode -format


image.png


在hadoop2 上执行同步namenode元数据


cd /usr/local/hadoop/bin
hdfs namenode -bootstrapStandby



image.png


image.png


至此hadoop2.x hdfs完全分布式 HA 搭建完毕


HA


是双机集群系统简称 提高可用性集群
是保证业务连续性的有效解决方案
一般有两个或两个以上的节点
且分为活动节点及备用节点


在hadoop1上停止业务


stop-dfs.sh


在hadoop1上全面启动业务


cd /usr/local/hadoop/sbin
start-all.sh


image.png


#启动了 2个namenode hadoop001,hadoop002
Starting namenodes on [hadoop001 hadoop002]
#启动了3个datanode hadoop001,hadoop002,hadoop003
#启动了3个journal nodes
Starting journal nodes [hadoop001 hadoop002 hadoop003]
#启动了ZK Failover Controllers 在hadoop001,hadoop002
Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002]
#启动了3个节点 hadoop001,hadoop002,hadoop003
starting resourcemanager(nodemanager)


科普一下hadoop这几个节点的作用


Namenode


目录管理者
每个集群都有一个 记录实时的数据变化
如果没有它 hdfs无法工作
系统中的文件将全部丢失
就无法将位于不同datanode上的文件块(blocks)重建文件
因此它的容错机制很有必要


负责


  • 接受用户请求


  • 维护文件系统的目录结构


  • 管理文件与block之间的联系


Datanode


文件系统的工作节点
根据客户端或namenode的调度存储和检索
并定期向namenode发送它们所存储的块的列表
集群中的每个服务器都运行着一个datanode后台程序
这个datanode后台程序负责把数据块读写到本地的文件系统


image.png



相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
176 0
|
分布式计算 资源调度 Hadoop
大数据Hadoop运行环境搭建
大数据Hadoop运行环境搭建
324 0
|
SQL 消息中间件 存储
搭建大数据运行环境之二(4)
搭建大数据运行环境之二(4)
210 0
搭建大数据运行环境之二(4)
|
存储 大数据 关系型数据库
搭建大数据运行环境之二(3)
搭建大数据运行环境之二(3)
138 0
搭建大数据运行环境之二(3)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之二(1)
搭建大数据运行环境之二(1)
217 0
搭建大数据运行环境之二(1)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之一
搭建大数据运行环境之一
209 0
搭建大数据运行环境之一
|
分布式计算 资源调度 安全
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
安装模板虚拟机,IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G
1817 0
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
|
分布式计算 大数据 数据处理
|
5天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
65 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
74 0

热门文章

最新文章

  • 1
    人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
    185
  • 2
    DataWorks操作报错合集之出现报错“odps-0123055:用户脚本异常-Traceback(最后一次调用)”,如何解决
    431
  • 3
    人工智能平台PAI操作报错合集之在ODPS的xxx_dev项目空间调用easyrec训练,需要访问yyy项目空间的OSS,出现报错,是什么导致的
    139
  • 4
    MaxCompute操作报错合集之创建oss外部表时出现了报错:"Semantic analysis exception - external table checking failure, error message:,该怎么办
    413
  • 5
    MaxCompute操作报错合集之在本地用tunnel命令上传excel表格到mc遇到报错: tunnel upload C:\Users***\Desktop\a.xlsx mc里的非分区表名 -s false;该怎么办
    169
  • 6
    DataWorks操作报错合集之数据源同步时,使用脚本模式采集mysql数据到odps中,使用querySql方式采集数据,在脚本中删除了Reader中的column,但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
    379
  • 7
    MaxCompute操作报错合集之通过UDF调用异常(其他使用http调用正常)。报错:java.lang.NoSuchMethodError:是什么导致的
    178
  • 8
    MaxCompute操作报错合集之查询外部表insert到内部表报错,两表字段一致,是什么原因
    163
  • 9
    MaxCompute操作报错合集之出现报错:invalid dynamic partition value: \ufffd\ufffd\ufffd\ufffd\ufffd\ufffd是什么原因
    369
  • 10
    MaxCompute产品使用合集之如何设置每次返回超过10000行记录
    192