开源大数据平台 E-MapReduce

第二期准备了一些本周好的大数据技术的文章；列了近期一些大数据会议；业务方面还是大数据+各种各样的点，没有过多的列出；大数据融资领域还是融资不断；E-Mapreduce团队计划下周发布VPC方案，敬请期待；Aliyun-emapreduce-demo发布在github上，敬请关注。

市场在发生剧烈的变化，未来10年后的大公司有可能就是现在的小公司。技术也正在发生快速的变革，未来，谁说得好呢？！

今天过来参加《china hadoop summit》，听了不少的场次。从技术栈上分类，大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术，主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。

谈下这次参加中国hadoop技术峰会的收获，两天大约听了20场次，上午的是必听的，下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群，特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表，复杂点可能会涉及到一些机器学习和

在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop、hive、spark等。笔者（阿里封神）混迹Hadoop圈子多年，经历了云梯1、ODPS等项目，目前base在E-Mapreduce。在这，笔者尽可能梳理下hadoop的学习之路。

yarn版本的hadoop无论是从架构上面还是软件设计的层面上面都比原始的hadoop版本有较大的改进。在架构方面，我们认为yarn模式是新一代的框架，这个在官方等丛多的资料中说明得很详细了。在软件设计方面，我认为主要有以下的一些大的方面的改进：服务生命周期管理模式、事件驱动模式、状态驱动模式

目前网站的一些业务数据存在了数据库中，这些数据往往需要做进一步的分析，如：需要跟一些日志数据关联分析，或者需要进行一些如机器学习的分析。在阿里云上，目前E-Mapreduce可以满足这类进一步分析的需求。

以前一篇博客，从宏观描述了云梯1当时整体生态，年底了，笔者再梳理下软件栈，主要以开源软件为主，闭源不谈。大数据发展至今，开源软件层出不穷，也去解决了不同的问题，笔者试图去弄清楚这些，分门别类，后面也可以参照下。由于笔者知识面有限，难免会出现一些偏颇，不全，不正确，还请指正。后面也会有很多新的软件出现

在E-MapReduce中，用户可以将OSS作为Hadoop/Spark的可选数据源之一。但是在实际使用时，我们发现Hadoop读写OSS的性能不令人满意。为了解决这个问题，E-MapReduce团队对Hadoop的底层实现进行了优化，使得OSS数据源能够更好地适配Hadoop/Spark。

一键扩容E-MapReduce集群，运维SO EASY 谈到集群运维，我们不得不说说集群的扩容。随着业务量的增长，数据也会跟着增长，这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢，我们分下面的两个场景跟大家介绍一下 1. IDC机房集群扩容。当我们集群需要扩容的时候，一般会经过下

E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。