开源大数据平台 E-MapReduce

本期关注：梨视频基于阿里云E-MapReduce搭建视频推荐系统的实践，Apache Eagle成为新的顶级项目，英特尔开源的分布式深度学习库BigDL，Hadoop 3.0新功能测评

[阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642；并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现，并伴随一些危机性的挑战，

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前，它就获得了黎瑞刚华人文化近1亿美元投资，旗下《微辣》栏目总播放量已经超过4亿，并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件，在视频领域异军突起，不仅让内人士在感叹梨视频内容生产力之强大的同时，也诧异于是谁在

阿里云E-MapReduce1.6.0版本上线，增加交互式工作台、支持独享机型； 国际站上线，海外用户可以购买E-MapReduce服务

借助“互联网+大数据+机场”三轮驱动，掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。 随着业务的拓展，随之后来的挑战是数据量的暴增。 2016年，掌慧纵盈（股票代码：835736）通过阿里云产品，率先构建了业界领先的大数据平台。 本文阐述了一家物联网企业的业务架构和数据架构，以及技术选型

当前emr最新版本2.1.1没有kafka组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

给大家介绍一个使用场景，可以将E-MapReduce的Hadoop作业和文件存储（NAS）结合在一起，发挥分布式存储和分布式计算在一起的威力

kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子，实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...

数据生态治理要啃硬骨头、将人类送上火星、大数据框架对比、SQL on Hadoop

HIVE被很广泛的使用，使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论，从问题描述、mapjion原理以及产生该问题的原因，解决方案做一下介绍，最后对该问题进行了进一步的思考，希望对解决该类问题的朋友有所帮助。

云栖社区开源大数据专题回顾、后Hadoop时代圆桌讨论、Hadoop上云的冰与火、Flink的未来、城市大脑、大数据时代几个关键问题剖析

云栖大会开源大数据分享、空间大数据、银行大数据、Hbase迁移到EMR、机器学习python、R及TensorFlow深度学习

本周关注：意图搜索、hadoop3.0、大数据架构BI、大数据农业应用

集群，特别是包年报月集群，在使用过程中，可能会有新的安装第三方软件，修改集群运行环境的需求。 E-MapReduce控制台1.5.0版本提供了集群脚本的功能，可以在集群创建好后批量选择节点，运行您指定的脚本，以实现个性化的需求。

阿里云E-MapReduce从EMR-2.1.0版本镜像开始，Presto组件默认就支持访问oss数据了，不再需要引导操作额外支持。

阿里云E-MapReduce从EMR-2.1.0版本镜像开始，将在VPC集群中提供MetaService服务。

本周关注：大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。

HAWQ是一种基于HDFS的MPP(Massively Parallel Processing) SQL引擎，支持标准SQL/事务处理，性能比原生Hive快几百倍。本文介绍在E-MapReduce集群上面如何搭建HAWQ。

本周关注：大数据教育、翻译行业应用，大数据与管理的关系、hadoop与mpp的关系、Facebook 60T+的spark应用

csv文件导入HBase

本周关注：马云谈云计算、大数据、人工智能未来三十年，E-MapReduce存储计算分离，真实的大数据故事，spark session及spark mmlib、presto+oss

大家在使用E-MapReduce的时候，都想对E-MapReduce的集群环境细节有些了解。这里根据实践，总结一下E-MapReduce集群环境与应用启动与停止，供大家在实际使用中进行参考。

spark2.0已经发布，本期整理了一些spark的好文（包括最佳实践、原理等）推荐给大家。

大数据人才状况；大数据平台相关：数据采集、数据指标的量化、大数据平台建设的选型；性能优化相关：hive、hbase、jvm gc的优化；

本周包括 全景洞察大数据全貌、数据分析师的职业规划、打造智能聊天机器人、E-Mapreduce的相关实践及动态、最近值得关注的大数据会议。

Storm 使用指南 集群创建 目前E-MapReduce已经支持了apache社区的1.0.1版本的storm。用户可以通过选择E-MapReduce 最新的镜像版本EMR-2.0.0（以及后续的以上版本），通过在控制台软件列表中勾选storm软件进行安装，选择完毕后即可登录到master节点

我们从大数据的特征说起，谈到了大数据的价值，再聊什么时候做，谁去做，选择什么平台，最后聊到了怎么做的问题。通过对一些真实的场景分析，了解了大数据的全貌。

E-MapReduce的HBase集群中使用Hue，方便用户访问查询数据

Presto架构 Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句，生

本文简单介绍了，如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码，欢迎使用。

本次发布包括： 修改了界面的版本选择，新增了2.0.0版本，隐去了1.x版本（用SDK仍然可以继续创建，但我们强烈建议升级到最新版本），合并了Hadoop和HBase的版本选择。 Hadoop版本进行了升级，2.6.0 -> 2.7.2 集群JDK版本升级，1.7.0 -> 1.8.0 新增

Apache Phoenix是构建在HBase上的SQL中间层，它可以让开发者使用SQL语言对HBase进行相关操作，E-MapReduce在emr-2.0.0版本开始支持集群预装Phoenix，本文对此进行了介绍。

云上Hadoop之最佳实践

E-MapReduce的emr-2.0.0以下(emr-2.0.0已默认集成Phoenix)的HBase集群中并不包含Phoenix，也没有启动yarn，下面介绍一种通过创建集群时设置的引导操作来完成集群上Phoenix的部署。

在最新版本的EMR-1.3.0已经解决了hive comment中文乱码问题。如果已经申请了包年包月的集群，用的是老版本，那么可以过下面介绍的步骤解决这个问题。

阿里云李津谈布局专有云的深层用意，2016年杭州第四次spark meetup见闻

运行于云端的Hadoop——数据即服务的论证，预先知晓Hadoop3.0新特性。

最近有使用E-MapReduce的同学咨询如果将zeppelin中的表表数据进行共享。这里就介绍一下在Aliyun E-MapReduce的集群中使用ZeppelinHub来进行notebook和报表的分享。

大数据的未来就像在沙子里淘金

最近在做日志采集相关的开发，了解了flume原理和实现，转载一篇文章，一起学习。

广告有，技术也有。云化是方向，新技术需要很强的把控力；spark还是最火的。

浅谈大数据在传统行业的落地之痛，Spark如何简化大数据工作