阿里云E-MapReduce快速入门之准备工作

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介:

在创建 E-MapReduce 之前,您需要先完成以下准备工作:

1.注册阿里云账号

在申请 E-MapReduce 集群之前,您需要一个阿里云的云账号用于标识您在整个阿里云生态系统中的身份。该账号不仅可以用来申请 E-MapReduce 集群,同时还能够开通阿里云的对象存储服务 OSS云数据库 RDS等服务。

如果您还没有阿里云的云账号,请参见注册云账号进行申请。

2.创建 Access Key(可选)

由于 E-MapReduce 调用访问的需要,您至少需要创建一个 Access Key,创建步骤如下:

登录阿里云官网

登录管理控制台。

单击 AccessKeys。

注意:若出现如下提示框,请单击继续使用 Accesskey。


screenshot


accesskey 提示

单击创建 Access Key,然后再单击同意并创建。

输入短信校验码,单击确定。Access Key 创建成功。

3.开通阿里云 OSS 服务

E-MapReduce 会将您的作业日志和运行日志保存在您的阿里云 OSS 存储空间中,所以需要您开通阿里云 OSS 服务,操作步骤请参见开通 OSS 服务。并在您期望创建集群的相同地域创建Bucket,参见创建Bucket

4.开通高配机型(可选)

如果您需要在按量的集群中使用8核及8核以上的机型时,需要先在ECS处申请开通。申请高配机型

5.准备足够的余额

目前根据阿里云 ECS 的规则,用户在购买按量付费 ECS 的时候,要保证阿里云账户中至少有 100 元的现金(注意:代金券无效)。因此,在创建按量集群前,请确认您的账户中已至少充值 100 元,否则会创建失败。前往充值

当您使用完成并释放集群以后,在没有ECS或者其他按量产品在使用的情况下,您可以将这100元提现,回到您自己的原有账户中。

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
相关文章
|
5月前
|
分布式计算
mapreduce 快速入门
mapreduce 案例 【2月更文挑战第14天】
60 2
|
存储 分布式计算 Hadoop
Hadoop快速入门——第三章、MapReduce案例(字符统计)(2)
Hadoop快速入门——第三章、MapReduce案例(字符统计)
127 0
Hadoop快速入门——第三章、MapReduce案例(字符统计)(2)
|
分布式计算 Java Hadoop
Hadoop快速入门——第三章、MapReduce案例(字符统计)(1)
Hadoop快速入门——第三章、MapReduce案例(字符统计)
148 0
Hadoop快速入门——第三章、MapReduce案例(字符统计)(1)
|
存储 分布式计算 网络协议
阿里云 E-MapReduce ClickHouse 操作指南 02期 — 快速入门
阿里云 E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。
阿里云 E-MapReduce ClickHouse 操作指南 02期 — 快速入门
|
SQL 分布式计算 Hadoop
HDFS+MapReduce+Hive+HBase十分钟快速入门
1.     前言 本文的目的是让一个从未接触Hadoop的人,在很短的时间内快速上手,掌握编译、安装和简单的使用。 2.     Hadoop家族 截止2009-8-19日,整个Hadoop家族由以下几个子项目组成: 成员名 用途 Hadoop Common Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。
1370 0
|
5月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
71 1
|
5天前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
26 3
|
4月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
52 1
|
4月前
|
数据采集 SQL 分布式计算
|
5月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。