Apache Phoenix是构建在HBase上的SQL中间层，它可以让开发者使用SQL语言对HBase进行相关操作，E-MapReduce在emr-2.0.0版本开始支持集群预装Phoenix，本文对此进行了介绍。

开源有四个阶段：拥抱开源、回馈开源、融合开源、回报开源

云上Hadoop之最佳实践

E-MapReduce的emr-2.0.0以下(emr-2.0.0已默认集成Phoenix)的HBase集群中并不包含Phoenix，也没有启动yarn，下面介绍一种通过创建集群时设置的引导操作来完成集群上Phoenix的部署。

云上Hadoop之挑战

当前emr最新版本1.3.0没有presto组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装presto 0.147版本。引导操作可以在集群创建时执行指定的脚本，详见： [帮助文档](https://help.aliyun.com/document_detail/28108..

在最新版本的EMR-1.3.0已经解决了hive comment中文乱码问题。如果已经申请了包年包月的集群，用的是老版本，那么可以过下面介绍的步骤解决这个问题。

阿里云李津谈布局专有云的深层用意，2016年杭州第四次spark meetup见闻

运行于云端的Hadoop——数据即服务的论证，预先知晓Hadoop3.0新特性。

最近有使用E-MapReduce的同学咨询如果将zeppelin中的表表数据进行共享。这里就介绍一下在Aliyun E-MapReduce的集群中使用ZeppelinHub来进行notebook和报表的分享。

大数据的未来就像在沙子里淘金

最近在做日志采集相关的开发，了解了flume原理和实现，转载一篇文章，一起学习。

5-15号笔者参加了2016中国spark技术峰会，各演讲嘉宾分享了很多spark实践经验，本文整理了笔者印象比较深的内容，ppt详见峰会ppt 《spark and yarn :better together》 Hortonworks技术专家邵赛赛分享了spark如何更好地跑在yarn上，主要

广告有，技术也有。云化是方向，新技术需要很强的把控力；spark还是最火的。

浅谈大数据在传统行业的落地之痛，Spark如何简化大数据工作

本文介绍了三种HBase数据写入的方法（1种多线程，2种mapreduce），并介绍了各类性能调优的方法

如果您的E-MapReduce集群需要和集群之外的数据库同步数据，需要确保网络是联通的。本文就RDS，ecs自搭，云下私有数据库三种情况，分别介绍如何配置网络。 一.RDS 经典网络RDS 想要访问经典网络RDS，EMR（E-MapReduce，下同)最好也指定用经典网络。 经典网络的RDS

图的最大价值是它会推动我们去注意到那些我们从未预料到的东西。 – John Tukey Spark 1.4中对Spark UI进行改进，更加突出可视化的效果。我们来看一下他的主要的改动，主要包含三个方面： Spark事件的时间线视图 执行的DAG图 Spark Streaming 的可视化

目前Aliyun E-MapReduce支持了zeppelin和hue，在Aliyun E-MapReduce集群上可以很方便的使用zeppelin和hue。本文将详细介绍如何在Aliyun E-MapReduce玩转Zeppelin和Hue！

sqoop简介 sqoop是什么 Sqoop是一款开源的软件工具，提供了Hadoop和关系型数据库中的数据相互转移的功能。可以将一个关系型数据库（例如 ： MySQL）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 在E-MapReduce集群中使用sqo

1. 问题背景 E-MapReduce中支持的Hive，会默认在Master节点的Mysql数据库中记录元数据信息。通常，用户会将数据存储在E-MapReduce的HDFS中，使用Hive处理HDFS中的数据。当集群释放时，节点的所有数据包括HDFS数据和Hive元数据都会被删除。前面我撰文说过，

第二期准备了一些本周好的大数据技术的文章；列了近期一些大数据会议；业务方面还是大数据+各种各样的点，没有过多的列出；大数据融资领域还是融资不断；E-Mapreduce团队计划下周发布VPC方案，敬请期待；Aliyun-emapreduce-demo发布在github上，敬请关注。

市场在发生剧烈的变化，未来10年后的大公司有可能就是现在的小公司。技术也正在发生快速的变革，未来，谁说得好呢？！

今天过来参加《china hadoop summit》，听了不少的场次。从技术栈上分类，大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术，主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。

谈下这次参加中国hadoop技术峰会的收获，两天大约听了20场次，上午的是必听的，下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群，特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表，复杂点可能会涉及到一些机器学习和

在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop、hive、spark等。笔者（阿里封神）混迹Hadoop圈子多年，经历了云梯1、ODPS等项目，目前base在E-Mapreduce。在这，笔者尽可能梳理下hadoop的学习之路。

yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面，我们认为yarn模式是新一代的框架，这个在官方等丛多的资料中说明得很详细了。在软件设计方面，我认为主要有以下的一些大的方面的改进：服务生命周期管理模式、事件驱动模式、状态驱动模式

目前网站的一些业务数据存在了数据库中，这些数据往往需要做进一步的分析，如：需要跟一些日志数据关联分析，或者需要进行一些如机器学习的分析。在阿里云上，目前E-Mapreduce可以满足这类进一步分析的需求。

以前一篇博客，从宏观描述了云梯1当时整体生态，年底了，笔者再梳理下软件栈，主要以开源软件为主，闭源不谈。大数据发展至今，开源软件层出不穷，也去解决了不同的问题，笔者试图去弄清楚这些，分门别类，后面也可以参照下。由于笔者知识面有限，难免会出现一些偏颇，不全，不正确，还请指正。后面也会有很多新的软件出现

在E-MapReduce中，用户可以将OSS作为Hadoop/Spark的可选数据源之一。但是在实际使用时，我们发现Hadoop读写OSS的性能不令人满意。为了解决这个问题，E-MapReduce团队对Hadoop的底层实现进行了优化，使得OSS数据源能够更好地适配Hadoop/Spark。

一键扩容E-MapReduce集群，运维SO EASY 谈到集群运维，我们不得不说说集群的扩容。随着业务量的增长，数据也会跟着增长，这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢，我们分下面的两个场景跟大家介绍一下 1. IDC机房集群扩容。当我们集群需要扩容的时候，一般会经过下

E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。