# 开源大数据平台 E-MapReduce #
0
关注
1606内容
钉钉群直播【Spark Relational Cache 原理和实践】
主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。
Flume NG 简介及配置实战
最近在做日志采集相关的开发，了解了flume原理和实现，转载一篇文章，一起学习。
如何在E-MapReduce中玩转OSS
在E-MapReduce中，用户可以将OSS作为Hadoop/Spark的可选数据源之一。但是在实际使用时，我们发现Hadoop读写OSS的性能不令人满意。为了解决这个问题，E-MapReduce团队对Hadoop的底层实现进行了优化，使得OSS数据源能够更好地适配Hadoop/Spark。
YARN中的CPU资源隔离-CGroups
YARN中集成了CGroups的功能，使得NodeManger可以对container的CPU的资源使用进行控制，比如可以对单个container的CPU使用进行控制，也可以对NodeManger管理的总CPU进行控制。
Spark中的资源调度
本文对Spark的资源调度的进行了介绍，涉及到4个维度的调度，包括SparkApplication/pool/TaskSetManager/Task。
使用Ranger对Hive数据进行脱敏
Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。
使用E-MapReduce服务将Kafka数据导入OSS
kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子，实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...
Presto实现原理（转）
Presto架构
Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句，生
hive在E-MapReduce集群的实践（一）hive异常排查入门
hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。
本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。
【译】Hadoop发生了什么？我们该如何做？
原文：https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/
Apache Hadoop出现在IT领域是在2006年，它可以支持使用廉价的商用硬件来存储海量数据。
免费试用