搭建大数据运行环境之二(2)

简介: 搭建大数据运行环境之二(2)

在hadoop1上格式化namenode数据


cd /usr/local/hadoop/bin
hdfs namenode -format


image.png


在hadoop2 上执行同步namenode元数据


cd /usr/local/hadoop/bin
hdfs namenode -bootstrapStandby



image.png


image.png


至此hadoop2.x hdfs完全分布式 HA 搭建完毕


HA


是双机集群系统简称 提高可用性集群
是保证业务连续性的有效解决方案
一般有两个或两个以上的节点
且分为活动节点及备用节点


在hadoop1上停止业务


stop-dfs.sh


在hadoop1上全面启动业务


cd /usr/local/hadoop/sbin
start-all.sh


image.png


#启动了 2个namenode hadoop001,hadoop002
Starting namenodes on [hadoop001 hadoop002]
#启动了3个datanode hadoop001,hadoop002,hadoop003
#启动了3个journal nodes
Starting journal nodes [hadoop001 hadoop002 hadoop003]
#启动了ZK Failover Controllers 在hadoop001,hadoop002
Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002]
#启动了3个节点 hadoop001,hadoop002,hadoop003
starting resourcemanager(nodemanager)


科普一下hadoop这几个节点的作用


Namenode


目录管理者
每个集群都有一个 记录实时的数据变化
如果没有它 hdfs无法工作
系统中的文件将全部丢失
就无法将位于不同datanode上的文件块(blocks)重建文件
因此它的容错机制很有必要


负责


  • 接受用户请求


  • 维护文件系统的目录结构


  • 管理文件与block之间的联系


Datanode


文件系统的工作节点
根据客户端或namenode的调度存储和检索
并定期向namenode发送它们所存储的块的列表
集群中的每个服务器都运行着一个datanode后台程序
这个datanode后台程序负责把数据块读写到本地的文件系统


image.png



相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
235 0
|
分布式计算 资源调度 Hadoop
大数据Hadoop运行环境搭建
大数据Hadoop运行环境搭建
422 0
|
SQL 消息中间件 存储
搭建大数据运行环境之二(4)
搭建大数据运行环境之二(4)
241 0
搭建大数据运行环境之二(4)
|
存储 大数据 关系型数据库
搭建大数据运行环境之二(3)
搭建大数据运行环境之二(3)
151 0
搭建大数据运行环境之二(3)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之二(1)
搭建大数据运行环境之二(1)
236 0
搭建大数据运行环境之二(1)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之一
搭建大数据运行环境之一
234 0
搭建大数据运行环境之一
|
分布式计算 资源调度 安全
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
安装模板虚拟机,IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G
1951 0
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
|
分布式计算 大数据 数据处理
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
343 14
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
200 0