通过资源编排批量部署 Hadoop 开发环境|学习笔记

本文涉及的产品
资源编排,不限时长
简介: 快速学习通过资源编排批量部署 Hadoop 开发环境

开发者学堂课程【批量云资源管理与自动化运维通过资源编排批量部署 Hadoop 开发环境】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/512/detail/6841


通过资源编排批量部署 Hadoop 开发环境


目录

一、模板语法

二、实验:批量部署 Hadoop 环境

三、启动栈

 

一、模板语法

上节课主要讲 ROS 的基础知识和如何用模板堆栈,此节课简单创建模板语法主要讲 Hadoop 部署实验。

模板是一个 JSON 格式的文本文件,使用 UTF8 编码模式。模板用于创建资源栈,是描述基础设施和架构的蓝图,ROS 的开发者在模板中定义阿里云资源的生产和配置细节,并说明资源间的依赖关系。

图片1.png

模板主要由八个顶级字段定义,ROS 模板版本号是必选项,其余是可选项。因为创建的资源是不固定的,模板是可变、可控的,7个可选的顶级字段也许会在一个模板内出现,也许出现多次,也有可能不出现。模板版本号是肯定要选择的,不管什么模板都用模板版本号。顶级字段的定义和具体的参数环境可通过阿里云官方网站了解,涉及到开发接口和资源配置问题。


二、实验:批量部署 Hadoop 环境

进入管理控制台后选择资源编排服务,左侧有模板样例,选择 Hadoop 分布式开发环境样例

图片2.png 

ROS 服务内拥有强大、完善的模板功能。几乎涵盖了所有可创建的功能服务。几乎所有已经定义过的模板可以满足绝大多数用户的需求,不需要自定义设定基础环境,用模板做添加修改即可,配置和脚本上都不需做过多的操作。任何自定义的操作都可以基于源模板进行改造。本次实验就是基于源模板,部署目前应用最广泛的 Hadoop 的分布式开发环境。

图片3.png

创建栈堆栈启动栈时模板的参数设定,打开模板后,可以发现一些顶级字段。一共8个此模板用了5个。必选项 ROS 版本号,是每个模板都有。

"Description"

定义模板的解释说明包括一个安全组,用户只需要指定 imageld

"Parameters":{}

定义模板的一些参数,本例中定义了镜像 ID 的参数,实例规格的参数,并指定了默认值。

"Resources":{}

定义这个模板将要创建的阿里云资源,本例中申明将要创建一个 ECS 实例和一个安全组:这里申明的资源属性可以引用 Parameters 中定义的参数。

"Outputs":{}

定义资源创建完成后,通过 ROS 的栈输出资源信息。本例中,输出什么 ECS、实例的 ID、VPC 网段、公网 IP 和安全组 ID。

启动栈

图片4.png

选择 region 后有一些重点项要填,有一定定义格式。自定义一个堆栈名称,栈名可自定义,可以用大小写字母、下划线、中划线但不可以用符号。创建超时建议60分钟,失败回滚建议勾选。

Imagedid 填入 centos_7 系统自动拉取最新版的 centos, 阿里云上存在的最新版centos7.4 版本。VpcName 可以是中文可以是英文,没有明显规定内容。其余都是默认项,JavaHome 实验使用相对稳定版本jdk1.8版本。Hadoop 使用相对稳定版本2.7.1版本。

Zoneid 参考阿里云文档,选择的 region 不一样,选择的 Zoneid 也不一样。华北2为例北京,一共5个可用区,Zoneid 是 cn-北京 -a-1。

虚拟交换机 VSwitch 网段要参考 Vpc 网段设定,如果选择192网段,前面也是192。

InstanceType 实例规格,选择云盘的规格比如 ssd 高效的、普通的。

实例名称可以自定义,中英文都可以。此名称是创建完 ECS 后打标签的名称,定义出是哪个名字。

InstancePassword,创建 ECS 时密码要有大写小写字母、符号、数字组成。此模板下的 InstancePassword 不可以使用符号,只可以使用字母大小写加数字。

图片5.png

创建完成后返回到资源管理栈可以看到栈参数,显示的栈参数是创建成功后创建了哪些东西、什么规格、什么内容、在哪里。如果想修改可以用更新更改模板,从新做编排或做强化。

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云资源编排ROS使用教程
资源编排(Resource Orchestration)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等,并自动完成所有资源的创建和配置,以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式,并且可以随时编辑修改,使基础设施即代码(Infrastructure as Code)成为可能。 产品详情:https://www.aliyun.com/product/ros/
相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
86 2
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
3月前
|
弹性计算 持续交付 API
基于 ROS 的Terraform托管服务轻松部署ChatGLM-6B
文章介绍了如何利用ROS和Terraform模板轻松自动化部署基于GLM架构、优化中文对话的ChatGLM-6B模型至阿里云,提高了部署效率与便捷性,适用于多种应用场景,且模型部署过程详细,彰显了基础设施即代码(IaC)的优势。
基于 ROS 的Terraform托管服务轻松部署ChatGLM-6B
|
3月前
|
弹性计算 人工智能 持续交付
基于 ROS 的Terraform托管服务轻松部署Qwen-7B-Chat
文章介绍了如何利用ROS和Terraform模板轻松自动化部署阿里云的Qwen-7B-Chat大语言模型服务,提高了部署效率与便捷性,是实现云资源和服务快速上线的最佳实践。
基于 ROS 的Terraform托管服务轻松部署Qwen-7B-Chat
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
|
4月前
|
分布式计算 Ubuntu Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
|
5月前
|
弹性计算 关系型数据库 MySQL
使用资源编排 ROS 轻松部署单点网站——以 WordPress 为例
WordPress 是流行的开源CMS,阿里云的ROS(Resource Orchestration Service)提供模板化部署服务,简化云上环境如VPC、ECS、MySQL的创建。用户可通过ROS控制台选择模板一键部署WordPress,配置包括实例区、类型、系统盘及密码等参数。ROS模板定义了资源、参数和输出,自动处理依赖关系,实现云资源和应用的自动化部署。通过ROS,用户可以高效管理和更新整个资源栈,实现快速、可靠的云服务部署。
使用资源编排 ROS 轻松部署单点网站——以 WordPress 为例
|
4月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
|
4月前
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
|
4月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
176 0

推荐镜像

更多