阿里云E-MapReduce 创建集群

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

进入创建集群页面

登录阿里云 E-MapReduce 控制台集群列表。

完成 RAM 授权,操作步骤请参见角色授权。

在上方选择所在的地域(Region),所创建集群将会在对应的地域内,一旦创建后不能修改。

单击右上方的创建集群按钮,进行创建。

创建集群流程

要创建集群,您需要继续完成以下 3 个步骤:

软件配置
硬件配置
基础配置

步骤1:软件配置

配置项说明:

产品版本:选择默认最新的软件版本

集群类型:目前的EMR提供了

Hadoop标准的 Hadoop 集群,包含了大部分的 Hadoop 相关的组件,具体的组件信息可以在选择界面的列表中查看。
Kafka独立的 Kafka 集群,提供消息服务。
包含配置:使用默认的配置,后期可以在管理界面中添加和启停服务。

安全模式:是否开启集群的 Kerberos 认证功能。一般的个人用户集群无需该功能,默认关闭它。

步骤2:硬件配置

配置项说明:

付费配置

付费类型测试的场景下使用按量开始,测试都正常了以后。可以新建一个包月的生产集群正式使用。
集群网络配置

集群可用区:一般使用默认的可用区即可。

网络类型:推荐使用VPC。若还未创建,可前往VPC控制台进行创建。

注意:经典网络与专有网络不互通,购买后不能更换网络类型。

ECS 实例系列:使用默认最新的系列。

VPC:选择在该地域的VPC。

交换机:选择在对应的VPC下的在对应可用区的交换机,如果在这个可用区没有可用的交换机,那么就需要前往去创建一个新的使用。

新建安全组:一般用户初次来到这里还没有安全组,打开“新建安全组”开关,在“安全组名称”里面填上新的安全组的名字。

选择安全组:若已经有在使用的安全组可以直接这里选择使用。

集群节点配置

高可用集群:后续正式集群如果是使用高可用的,测试情况下也打开高可用。

节点类型:只需要使用Master和Core,Task可以不用,需要的时候再追加。

节点配置: 使用默认配置

数据盘类型:根据需要选择高效或者是SSD云盘。

数据盘容量:根据需要调整磁盘容量,推荐至少80G

实例数量:根据需要调整

步骤3:基础配置

配置项说明:

基本信息

集群名称:集群的名字,长度限制为 1-64 个字符,仅可使用中文、字母、数字、“-”和“_”。
运行日志

运行日志:是否保存作业的日志,日志保存默认是打开的。开启后会需要您选择用来保存日志的 OSS 目录位置,会将您的作业的日志保存到该 OSS 存储目录上。当然,您要使用这个功能必须先开通 OSS,同时上传的文件会按照使用的量来计算用户的费用。强烈建议您打开 OSS 日志保存功能,这会对您的作业调试和错误排查有极大的帮助。

日志路径:保存日志的 OSS 路径。

统一Meta数据库:推荐先关闭。

权限设置 无需调整,使用默认即可。

登录设置

登录密码:设置 master 节点的登录密码。8 - 30 个字符,且必须同时包含大写字母、小写字母、数字和特殊字符!@#$%^&*
配置清单和集群费用

在配置清单上确认配置和对应的费用

确认创建

当所有的信息都有效填写以后,“创建”按钮会亮起,确认无误后单击创建将会创建集群。

注意:

若是按量付费集群,集群会立刻开始创建。页面会返回集群列表页,就能看到在列表中有一个“集群创建中”的集群。请耐心等待,集群创建会需要几分钟时间。完成之后集群的状态会切换为“集群空闲”。

若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建。

创建失败

如果创建失败,在集群列表页上会显示“集群创建失败”,将鼠标移动到红色的感叹号上会看到失败原因,如下图所示。


screenshot

创建失败的集群可以不用处理,对应的计算资源并没有真正的创建出来。这个集群会在停留3天以后自动隐藏。

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
7月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
101 3
|
2月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
50 1
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
53 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
97 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
43 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
56 0
|
3月前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
74 0
|
7月前
|
分布式计算 Hadoop Java
【集群模式】执行MapReduce程序-wordcount
【集群模式】执行MapReduce程序-wordcount
|
7月前
|
分布式计算 Java Hadoop
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决