# 开源大数据平台 E-MapReduce #
0
关注
1512内容
E-MapReduce中引导操作安装使用Kylin
目前E-MapReduce的开源组件还未包含Kylin，下面介绍一种通过创建集群时设置的引导操作来完成集群上Kylin的部署。
尝新阿里云E-MapReduce MetaService服务
阿里云E-MapReduce从EMR-2.1.0版本镜像开始，将在VPC集群中提供MetaService服务。
Spark Operator浅析
Spark Operator浅析
本文介绍Spark Operator的设计和实现相关的内容.
Spark运行时架构
经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.
5分钟迅速搭建云上Lambda大数据分析架构
主要介绍基于 Tablestore 的数据变更实时捕获订阅能力，实现云上Lambda 架构的轻量化实现数据的实时和离线处理。演示模拟了一个电商订单场景，通过流计算实现订单大屏的场景，做到海量订单实时注入的同时，进行10s的订单统计聚合以及交易金额统计并做实时的大屏幕展示
自建hadoop集群迁移到EMR之数据迁移篇
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。
前置
已按需求创建好EMR集群。
迁移hdfs数据
主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。
SparkSQL Catalyst解析
Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。
Apache Spark 系列技术直播 - Spark SQL 实践与优化
Apache Spark 系列技术直播
Spark SQL 实践与优化
内容简介：
SparkSQL介绍
基本原理
支持的DataSource介绍
Hue/Zepplin/Livy周边跟SparkSQL的集成使用等
SparkSQL优化
SparkSQL Catalyst优化
AE优化
Shuffle优化
直播时间： 2018.
【译】Apache Spark 2.4 内置数据源 Apache Avro
原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4
Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中，尤其适用于基于 Kafka 的数据流场景。
都是default惹的祸-yarn调度（一）-fair调度器drf调度策略作业不执行问题的调查和源码分析
问题背景
yarn的fair类型资源池，是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair，即分配资源时只考虑内存限制。
对一个多个团队混合使用的大集群来说，如果想要在分配资源时同时考虑内存和cpu限制，需要指定调度策略为drf。
漫谈分布式计算框架
本文主要谈了一些分布式计算框架方面的心得。
免费试用