开发者社区> 阿里云E-MapReduce团队> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

E-MapReduce弹性低成本离线大数据分析

简介: 基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。
+关注继续查看

作者:明誉


大数据是一项涉及不同业务和技术领域的技术和工具的集合,海量离线数据分析可以应用于多种商业系统环境,例如,电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm:

  • Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集。
  • Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,能够与Hadoop很好地结合。
  • Storm适用于处理高速、大型数据流的分布式实时计算,为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景,例如:

  • 商业系统环境:电商海量日志分析、用户行为画像分析。
  • 科研行业:海量离线计算分析和数据查询。
  • 游戏行业:游戏日志分析、用户行为分析。
  • 商业用户:数据仓库解决方案的BI分析、多维分析报表。
  • 大型企业:海量IT运维日志分析。

架构图

image.png

方案优势

  • 高性能、低成本
  • 快速部署
  • 弹性
  • 多种计算模式
  • 无缝对接开源生态
  • 一站式管理平台

方案详情

详情请参见E-MapReduce弹性低成本离线大数据分析最佳实践


对开源大数据感兴趣的同学可以加小编微信(图一二维码,备注进群)进入技术交流微信2群。也可钉钉扫码加入社区的钉钉群

image.png

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!
image.png

Apache Spark技术交流社区公众号,微信扫一扫关注

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
EMR弹性低成本离线大数据分析
布式计算框架系统分别为Hadoop、Spark和Storm, Hadoop可以运用在很多商业应用系统,可以轻松集成结构化、半结构化以及非结构化数据集,Spark采用了内存计算,允许数据载入内存作反复查询,融合数据仓库、流处理和图形计算等多种计算范式,Spark能够与Hadoop 很好地结合,Storm用于处理高速、大型数据流的分布式实时计算系用,为Hadoop添加可靠的实时数据处理能力。
18860 0
大数据||MapReduce数据类型
数据类型都实现了Writable接口,以便这些类型定义的数据可以被序列化进行网络传输和文件存储。 基本数据类型 BooleanWritable:标准布尔型数值 ByteWritable :单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点型 IntWritable:整型数 LongWritable:长整型 Text NullWritable:当中的key或value为空使用。
997 0
E-MapReduce大数据安全实践
E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。
6224 0
实操《深入浅出React和Redux》第二期--Flux
此书讲得蛮详细, 从Flux一步一步过渡到Redux。 写过的代码舍不得扔, 立此存照吧。
2459 0
基于大数据开发套件定时调度带资源文件的MapReduce作业
1、介绍如何使用DataIDE周期性调度MaxCompute MapReduce作业 2、如何编写带资源文件的MapReduce代码
4042 0
文章
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
相关文档: E-MapReduce
文章排行榜
最热
最新
相关电子书
更多
EMR弹性低成本离线大数据分析最佳实践
立即下载
《构建Hadoop生态批流一体的实时数仓》
立即下载
云端大规模视频分析:MaxCompute在视觉计算中的应用
立即下载