搭建大数据运行环境之二(2)

简介: 搭建大数据运行环境之二(2)

在hadoop1上格式化namenode数据


cd /usr/local/hadoop/bin
hdfs namenode -format


image.png


在hadoop2 上执行同步namenode元数据


cd /usr/local/hadoop/bin
hdfs namenode -bootstrapStandby



image.png


image.png


至此hadoop2.x hdfs完全分布式 HA 搭建完毕


HA


是双机集群系统简称 提高可用性集群
是保证业务连续性的有效解决方案
一般有两个或两个以上的节点
且分为活动节点及备用节点


在hadoop1上停止业务


stop-dfs.sh


在hadoop1上全面启动业务


cd /usr/local/hadoop/sbin
start-all.sh


image.png


#启动了 2个namenode hadoop001,hadoop002
Starting namenodes on [hadoop001 hadoop002]
#启动了3个datanode hadoop001,hadoop002,hadoop003
#启动了3个journal nodes
Starting journal nodes [hadoop001 hadoop002 hadoop003]
#启动了ZK Failover Controllers 在hadoop001,hadoop002
Starting ZK Failover Controllers on NN hosts [hadoop001 hadoop002]
#启动了3个节点 hadoop001,hadoop002,hadoop003
starting resourcemanager(nodemanager)


科普一下hadoop这几个节点的作用


Namenode


目录管理者
每个集群都有一个 记录实时的数据变化
如果没有它 hdfs无法工作
系统中的文件将全部丢失
就无法将位于不同datanode上的文件块(blocks)重建文件
因此它的容错机制很有必要


负责


  • 接受用户请求


  • 维护文件系统的目录结构


  • 管理文件与block之间的联系


Datanode


文件系统的工作节点
根据客户端或namenode的调度存储和检索
并定期向namenode发送它们所存储的块的列表
集群中的每个服务器都运行着一个datanode后台程序
这个datanode后台程序负责把数据块读写到本地的文件系统


image.png



相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
SQL 消息中间件 存储
搭建大数据运行环境之二(4)
搭建大数据运行环境之二(4)
151 0
搭建大数据运行环境之二(4)
|
存储 大数据 关系型数据库
搭建大数据运行环境之二(3)
搭建大数据运行环境之二(3)
搭建大数据运行环境之二(3)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之二(1)
搭建大数据运行环境之二(1)
152 0
搭建大数据运行环境之二(1)
|
分布式计算 大数据 Hadoop
搭建大数据运行环境之一
搭建大数据运行环境之一
138 0
搭建大数据运行环境之一
|
分布式计算 大数据 数据处理
|
19天前
|
数据采集 SQL 数据可视化
大数据可视化技巧:借助PowerBI提升数据故事讲述力
【4月更文挑战第8天】Power BI助力大数据可视化,支持多种数据源连接,如SQL Server、Excel,提供数据清洗与转换功能。通过选择合适图表类型、运用颜色和大小强化表达,创建交互式仪表板。讲述数据故事时,注重故事主线设计,利用叙事技巧引导观众,并添加文本说明。分享已完成报告,提升数据驱动决策能力。动手实践,体验Power BI的强大与易用。
35 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
48 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
40 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
1天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章