阿里云E-MapReduce快速入门之准备工作

本文涉及的产品
云服务器 ECS,u1 4核16GB 1个月
云服务器 ECS,u1 2核4GB 3个月
云服务器 ECS,u1 4核8GB 1个月
简介:

在创建 E-MapReduce 之前,您需要先完成以下准备工作:

1.注册阿里云账号

在申请 E-MapReduce 集群之前,您需要一个阿里云的云账号用于标识您在整个阿里云生态系统中的身份。该账号不仅可以用来申请 E-MapReduce 集群,同时还能够开通阿里云的对象存储服务 OSS云数据库 RDS等服务。

如果您还没有阿里云的云账号,请参见注册云账号进行申请。

2.创建 Access Key(可选)

由于 E-MapReduce 调用访问的需要,您至少需要创建一个 Access Key,创建步骤如下:

登录阿里云官网

登录管理控制台。

单击 AccessKeys。

注意:若出现如下提示框,请单击继续使用 Accesskey。


screenshot


accesskey 提示

单击创建 Access Key,然后再单击同意并创建。

输入短信校验码,单击确定。Access Key 创建成功。

3.开通阿里云 OSS 服务

E-MapReduce 会将您的作业日志和运行日志保存在您的阿里云 OSS 存储空间中,所以需要您开通阿里云 OSS 服务,操作步骤请参见开通 OSS 服务。并在您期望创建集群的相同地域创建Bucket,参见创建Bucket

4.开通高配机型(可选)

如果您需要在按量的集群中使用8核及8核以上的机型时,需要先在ECS处申请开通。申请高配机型

5.准备足够的余额

目前根据阿里云 ECS 的规则,用户在购买按量付费 ECS 的时候,要保证阿里云账户中至少有 100 元的现金(注意:代金券无效)。因此,在创建按量集群前,请确认您的账户中已至少充值 100 元,否则会创建失败。前往充值

当您使用完成并释放集群以后,在没有ECS或者其他按量产品在使用的情况下,您可以将这100元提现,回到您自己的原有账户中。

相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析,介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
2月前
|
SQL 分布式计算 关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度,从客户的需求出发,对于阿里云EMR-Trino集群的选型,外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录,模拟客户已有的业务场景,满足客户需求的同时对过程中的问题点进行解决、记录和分析,包括但不限于Mysql、ODPS、Hive connector的配置,Hive、Delta及Hudi等不同表格式读取的兼容,aws s3、阿里云 oss协议访问异常的解决等。
|
26天前
|
存储 运维 Java
大事件后端项目30------文件上传_阿里云OSS_准备工作
大事件后端项目30------文件上传_阿里云OSS_准备工作
|
2月前
|
分布式计算
mapreduce 快速入门
mapreduce 案例 【2月更文挑战第14天】
46 2
|
8月前
|
存储 SQL 缓存
【云栖2023】李钰:阿里云 E-MapReduce 全面开启 Serverless 时代
本文根据 2023 云栖大会,阿里云资深技术专家、阿里云开源大数据平台EMR负责人李钰演讲实录整理而成。
456 1
|
8月前
|
SQL
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
在阿里云的E-MapReduce中,对数组类型进行聚合操作需要使用特定的函数
41 2
|
10月前
|
Kubernetes 监控 Cloud Native
阿里云原生容器服务产品体系﹣容器服务产品快速入门
阿里云原生容器服务产品体系﹣容器服务产品快速入门
176 0
阿里云原生容器服务产品体系﹣容器服务产品快速入门
|
10月前
|
存储 弹性计算 资源调度
阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性
背景:阿里云E-MapReduce集群(简称EMR集群)部分节点需要下线迁移,但集群资源常年跑满,诉求是节点下线迁移过程中不影响任一任务执行。 本次方案基于Yarn Node Labels的特性进行资源隔离后下线。 下期对官网Graceful Decommission of YARN Nodes的方案进行验证,参考:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/GracefulDecommission.html。
|
10月前
|
数据库 数据安全/隐私保护
阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
社区开源Ldap密码不安全问题解决方案
|
10月前
|
分布式计算 Java API
阿里云E-MapReduce集群不同计算引擎sleep task使用笔记
需求:日常在E-MapReduce集群中进行相关测试,验证一些切换或变更是否会影响业务的运行导致任务failed。所以需要在测试集群中运行指定资源数(vcore及memory)或者指定运行时间的任务。 目前用到MapReduce和spark任务两种,其余的持续更新补充中……
|
存储 运维 资源调度
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊
开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。
638 1
阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-4月刊