云上Hadoop之部署结构

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

云上Hadoop的部署结构

在云上部署Hadoop是比较灵活的,可以根据不同的业务目标部署Hadoop集群,笔者总结了在云上的大体部署结构。

经典模式

screenshot
传统的部署模式如上,线下的机器比较固定,所以一般的节点上会部署Datanode、NodeManager节点。

经典模式2

screenshot
一般把节点分为:Master Node、Core Node、Task Node。这么部署结构相对灵活,也就是Task Node就部署NodeManager。如果需要添加计算能力,就添加Task Node。且因为Task Node无状态,在缩小集群时也相对简单。(这样就避免了在线下经常出现的,计算与存储不匹配的问题,导致资源浪费)

存储计算分离

screenshot
screenshot
在此模式下,数据放在OSS中,可以启动Hadoop集群分析数据。这种模式最大的好处就是Hadoop集群可以用完就释放掉,最大节约成本,E-Mapreduce也会提供按需计费的模式。
在一些常见的业务模式下,用户需要的离线分析只需要在晚上一段时间内完成即可。这样,在半夜启动一个集群,分析OSS已经存放的数据非常合适。
tips:HADOOP-12756 Hadoop会支持读取阿里云的OSS
第一个图的做法是,提供一个OSSFileSystem。第二个图的做法是,底层的HDFS直接代理走到OSS中,把HDFS做成无状态的,这么做的好处就是HDFS可以做一些类似alluxio的功能 ,且对上层完全透明。(目前还没有实现)

云数据共享

screenshot
当客户有多个集群时,且有很多表时,元数据可以放在RDS(mysql)中,这样用户可以同时保有永久集群,也可以再晚上启动一个临时集群分析数据后释放掉。
用户数据可以放在 OSS或者永久集群中。

VPC模式

screenshot
这个主要是为了安全,用户的业务、大数据系统全部在一个私有网络中,这个网络默认情况下跟外网是不通的,当然也可以通过技术手段也可以打通。

混合云模式

screenshot
在当前,客户线下有很多专有系统,这些系统一时半会也不能上云,比如:CRM、ERP、oracle等。但是用户想用云的大数据分析数据。这个时候可以做一个混合云的方案,数据可以直接通过专线上传到云端。

以上的部署结构,都可以混合使用,满足客户自身的需求。


HBase技术交流社区 - 阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
6月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
59 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
64 2
|
7天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
|
3月前
|
分布式计算 Ubuntu Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
|
3月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
|
3月前
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
|
3月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
114 0
|
5月前
|
分布式计算 Hadoop 网络安全
|
5月前
|
存储 分布式计算 Hadoop