搭建大数据运行环境之二(2)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 搭建大数据运行环境之二(2)

在hadoop1上格式化namenode数据


cd /usr/local/hadoop/bin
hdfs namenode -format


image.png


在hadoop2 上执行同步namenode元数据


cd /usr/local/hadoop/bin
hdfs namenode -bootstrapStandby



image.png


image.png


至此hadoop2.x hdfs完全分布式 HA 搭建完毕


HA


是双机集群系统简称 提高可用性集群
是保证业务连续性的有效解决方案
一般有两个或两个以上的节点
且分为活动节点及备用节点


在hadoop1上停止业务


stop-dfs.sh


在hadoop1上全面启动业务


cd /usr/local/hadoop/sbin
start-all.sh


image.png


#启动了 2个namenode hadoop001,hadoop002
Starting namenodes on [hadoop001 hadoop002]
#启动了3个datanode hadoop001,hadoop002,hadoop003
#启动了3个journal nodes
Starting journal nodes [hadoop001 hadoop002 hadoop003]
#启动了ZK Failover Controllers 在hadoop001,hadoop002
Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002]
#启动了3个节点 hadoop001,hadoop002,hadoop003
starting resourcemanager(nodemanager)


科普一下hadoop这几个节点的作用


Namenode


目录管理者
每个集群都有一个 记录实时的数据变化
如果没有它 hdfs无法工作
系统中的文件将全部丢失
就无法将位于不同datanode上的文件块(blocks)重建文件
因此它的容错机制很有必要


负责


  • 接受用户请求


  • 维护文件系统的目录结构


  • 管理文件与block之间的联系


Datanode


文件系统的工作节点
根据客户端或namenode的调度存储和检索
并定期向namenode发送它们所存储的块的列表
集群中的每个服务器都运行着一个datanode后台程序
这个datanode后台程序负责把数据块读写到本地的文件系统


image.png



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
116 0
|
分布式计算 资源调度 Hadoop
大数据Hadoop运行环境搭建
大数据Hadoop运行环境搭建
263 0
|
SQL 消息中间件 存储
搭建大数据运行环境之二(4)
搭建大数据运行环境之二(4)
179 0
搭建大数据运行环境之二(4)
|
存储 大数据 关系型数据库
搭建大数据运行环境之二(3)
搭建大数据运行环境之二(3)
112 0
搭建大数据运行环境之二(3)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之二(1)
搭建大数据运行环境之二(1)
180 0
搭建大数据运行环境之二(1)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之一
搭建大数据运行环境之一
162 0
搭建大数据运行环境之一
|
分布式计算 资源调度 安全
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
安装模板虚拟机,IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘 50G
1597 0
大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
|
分布式计算 大数据 数据处理
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
336 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
50 2