寒沙牧_个人页

EMR Spark Runtime Filter性能优化

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。

使用Ranger对Hive数据进行脱敏

Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。

Spark中的内存管理(一)

Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。

Spark中的资源调度

本文对Spark的资源调度的进行了介绍，涉及到4个维度的调度，包括SparkApplication/pool/TaskSetManager/Task。

SparkSQL Catalyst解析

Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。

初学Spark

介绍大数据处理引擎Spark的特点，以及它的技术栈

HiveServer2集成LDAP做用户认证

HiveServer2支持多种认证方式，通过`hive.server2.authentication`参数来设置，包括`nosasl, none, ldap, kerberos, pam, custom` 本文介绍如何在E-MapReduce中使用LDAP配置HiveServer的认证。

SparkSQL自适应执行

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

YARN ResourceManager重启作业保留机制

YARN可以通过相关配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束

E-MapReduce Kafka Kerberos集群授权

YARN中的CPU资源隔离-CGroups

YARN中集成了CGroups的功能，使得NodeManger可以对container的CPU的资源使用进行控制，比如可以对单个container的CPU使用进行控制，也可以对NodeManger管理的总CPU进行控制。

HBase ThriftServer Kerberos认证

HAS-插件式Kerberos认证框架

HAS (Hadoop Authentication Service), 致力于解决开源大数据服务和生态系统的认证支持。目前开源大数据（Hadoop/Spark）在安全认证上只内置支持了Kerberos方式，HAS提出了一种新的认证方式, 通过与现有的认证和授权体系进行对接，使得在Hadoop/Spark在上面支持Kerberos以外的认证方式变成可能，并对最终用户简化和隐藏Kerberos的复杂性。

云上基于Kerberos的大数据安全实践

E-MapReduce大数据安全实践

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

TCP的backlog导致的HBase超时问题排查

TCP的backlog导致的超时问题排查

搭建Gateway向E-MapReduce集群提交作业

搭建Gateway向E-MapReduce集群提交作业

E-MapReduce集群中HDFS服务集成Kerberos

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。

E-MapReduce启动/停止HBase集群

E-MapReduce的HBase集群启动/停止方式

HBase flush&split&compact

HBase的memstore flush处理流程，以及split/compact的处理流程

E-MapReduce中引导操作安装使用Kylin

目前E-MapReduce的开源组件还未包含Kylin，下面介绍一种通过创建集群时设置的引导操作来完成集群上Kylin的部署。

E-MapReduce中Spark 2.x读写MaxCompute数据

最新的`aliyun-emapreduce-sdk`将`MaxCompute`数据以`DataSource`的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写`json/parquet/csv`的方式来访问MaxCompute.

E-MapReduce的HBase集群间迁移

E-MapReduce提供HBase服务，本文介绍了几种HBase集群间迁移的方法

E-MapReduce集群搭建HAWQ实践

HAWQ是一种基于HDFS的MPP(Massively Parallel Processing) SQL引擎，支持标准SQL/事务处理，性能比原生Hive快几百倍。本文介绍在E-MapReduce集群上面如何搭建HAWQ。

csv导入HBase

csv文件导入HBase

E-MapReduce的HBase集群使用Hue

E-MapReduce的HBase集群中使用Hue，方便用户访问查询数据

E-MapReduce集群支持预装Phoenix

Apache Phoenix是构建在HBase上的SQL中间层，它可以让开发者使用SQL语言对HBase进行相关操作，E-MapReduce在emr-2.0.0版本开始支持集群预装Phoenix，本文对此进行了介绍。

E-MapReduce集群如何使用Phoenix on HBase

E-MapReduce的emr-2.0.0以下(emr-2.0.0已默认集成Phoenix)的HBase集群中并不包含Phoenix，也没有启动yarn，下面介绍一种通过创建集群时设置的引导操作来完成集群上Phoenix的部署。

Flume NG 简介及配置实战

最近在做日志采集相关的开发，了解了flume原理和实现，转载一篇文章，一起学习。

HBase写性能优化

本文介绍了三种HBase数据写入的方法（1种多线程，2种mapreduce），并介绍了各类性能调优的方法