一分钟了解阿里云产品:E-MapReduce概述

简介:   阿里云有很多出色的产品,今天让我们来一起了解下E-MapReduce吧。   什么是E-MapReduce呢?   简单来说,E-MapReduce是构建于阿里云ECS弹性虚拟机之上,运行在阿里云平台上的一种大数据处理系统解决方案。它能够让用户将Apache Hadoop和Apache

 

阿里云有很多出色的产品,今天让我们来一起了解下E-MapReduce吧。

 

什么是E-MapReduce呢?

 

简单来说,E-MapReduce是构建于阿里云ECS弹性虚拟机之上,运行在阿里云平台上的一种大数据处理系统解决方案。它能够让用户将Apache Hadoop和Apache Spark运行在阿里云的云平台上,提供给用户在云上的分析和处理大数据的平台。通过将Hadoop和Spark运行在云平台上,让用户可以非常方便的使用Hadoop和Spark生态系统中的其他周边系统(如Apache Hive,Apache Pig,HBase等)来分析和处理自己的数据。不仅如此,用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统(如Aliyun OSS, Aliyun RDS)中。

 

E-MapReduce与传统物理集群方式相比,有着诸多优势,具体有哪些特点和功能呢?我们来瞧瞧。

 

E-MapReduce按照所选硬件机型(CPU、内存),所选择软件组合和版本,进行自动化部署,与阿里云的其他产品进行了深度整合,可以通过主子账号对服务权限进行整合阿里云RAM资源权限管理系统,可以通过主子账号对服务权限进行隔离。

 

 

进一步的,由于E-MapReduce这么多的优势,在应用上,E-MapReduce自由选择机器配置(CPU,内存)和磁盘类型,自由选择服务器规模,包括Master和Slave的数量,自由选择开源大数据生态软件组合和版本,目前包括Hadoop和Spark,自由选择启动集群的方式,分为临时集群和长时间运行集群。E-MapReduce支持丰富的作业类型和灵活的作业执行计划。

 

 

E-MapReduce这么强大,可以应用在那些场景中呢?以下简单罗列几个。

 

E-MapReduce可以应用在离线数据处理、Ad hoc数据分析、海量数据在线服务、流式数据处理。

 

 

E-MapReduce典型特性介绍:

https://www.aliyun.com/product/emapreduce?spm=5176.383518.201.18.2vcqYg

 

E-MapReduce五大热点技术问题分析:

https://yq.aliyun.com/articles/6927?spm=0.0.0.0.pTiuqB


E-MapReduce体验之常见问题 :

https://yq.aliyun.com/articles/6928?spm=0.0.0.0.Oxy3JO

目录
相关文章
|
1天前
|
人工智能 API
阿里云微服务引擎及 API 网关 2024 年 4 月产品动态
阿里云微服务引擎及 API 网关 2024 年 4 月产品动态。
|
1天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 API 网关 2024 年 04 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要。
|
3天前
|
Cloud Native 关系型数据库 分布式数据库
数据库性能诊断工具DBdoctor通过阿里云PolarDB产品生态集成认证
DBdoctor(V3.1.0)成功通过阿里云PolarDB分布式版(V2.3)集成认证,展现优秀兼容性和稳定性。此工具是聚好看科技的内核级数据库性能诊断产品,运用eBPF技术诊断SQL执行,提供智能巡检、根因分析和优化建议。最新版V3.1.1增加了对PolarDB-X和OceanBase的支持,以及基于cost的索引诊断功能。PolarDB-X是阿里巴巴的高性能云原生分布式数据库,兼容MySQL生态。用户可通过提供的下载地址、在线试用链接和部署指南体验DBdoctor。
|
3天前
|
Prometheus 监控 数据可视化
阿里云可观测 2024 年 4 月产品动态
阿里云可观测 2024 年 4 月产品动态。
|
5天前
|
消息中间件 人工智能 监控
|
9天前
|
数据库 云计算
电子好书发您分享《阿里云产品手册2024版》
**阿里云2024产品手册电子版分享:** 探索最新云计算解决方案,涵盖智能计算、视觉智能与云数据库ClickHouse。了解阿里云在新的一年中提供的核心产品与服务升级,包括适用于初学者的云服务器选项。查看完整手册:[阿里云产品手册2024版](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.50ae272a22gHxh)。
35 9
|
12天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在阿里云的DataWorks中,使用CREATE AS创建分区表的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 2
|
5月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
40 1
|
8月前
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
|
5月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
66 0

热门文章

最新文章