# 开源大数据平台 E-MapReduce #
0
关注
1507内容
YARN(hadoop2)框架的一些软件设计模式
yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面，我们认为yarn模式是新一代的框架，这个在官方等丛多的资料中说明得很详细了。在软件设计方面，我认为主要有以下的一些大的方面的改进：服务生命周期管理模式、事件驱动模式、状态驱动模式
Apache Spark 系列技术直播 - Spark SQL 实践与优化
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
SparkSQL介绍
基本原理
支持的DataSource介绍
Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
SparkSQL优化
SparkSQL Catalyst优化
AE优化
Shuffle优化
直播时间： 2018.
E-MapReduce集群使用Oozie工作流简单示例
本文简单介绍了，如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码，欢迎使用。
Spark中的内存管理(一)
Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。
在E-MapReduce集群内运行Spark GraphX作业
Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。
下面以PageRank为例，看看如何运行GraphX作业
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
|
阿里云 E-MapReduce产品优势及使用场景
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。
基于 Spark 和 TensorFlow 的机器学习实践
大数据以及计算能力的提升，使得AI技术有了突飞猛进的发展。在大数据和AI技术的热潮下，在2019杭州云栖大会机器学习技术专场，阿里云高级技术专家吴威和阿里云技术专家江宇向大家分享了EMR E-Learning平台和平台上新开发的核心特性TensorFlow on Spark。
使用Relational Cache加速EMR Spark数据分析
Relational Cache的强大功能赋予了Spark更多的可能，通过Relational Cache，用户可以提前将任意关系型数据（Table/View/Dataset）cache到任意Spark支持的DataSource中，并支持灵活的cache数据组织方式，基于此，Relational Cache可以在诸多应用场景中帮助用户加速Spark数据分析。
Apache Spark中国技术交流群升级到企业群啦！！！！！！
普通群容量已满足不了Spark群众日益增长的热情，因此我们做了一个重要的决定，将全部群成员转移到企业群
免费试用