开源大数据平台 E-MapReduce

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光，也引发了公众对于大公司收集并使用用户数据的担忧。这篇文章比较客观的分析了公众的忧虑，以及互联网公司如何使用这些数据，可以说是一个很好数据安全的科普。

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

新功能预告：EMR Hadoop集群将增加Flink组件，版本1.4.0；EMR Kafka集群将增加Schema Registry和Rest Proxy组件

资讯 锤炼视频大数据时代的“火眼金睛” 我们身处一个大数据的时代，视频数据的爆炸性增长是这个时代的重要特征之一。如何让计算机看懂视频的内容，实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。

HAS (Hadoop Authentication Service), 致力于解决开源大数据服务和生态系统的认证支持。目前开源大数据（Hadoop/Spark）在安全认证上只内置支持了Kerberos方式，HAS提出了一种新的认证方式, 通过与现有的认证和授权体系进行对接，使得在Hadoop/Spark在上面支持Kerberos以外的认证方式变成可能，并对最终用户简化和隐藏Kerberos的复杂性。

本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息，以及HBase、Kafka、TensorFlow等主流开源组件的实践分享和技术实现，还有来自京东推荐部门的推荐系统演进史，纯干货分享。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

资讯 国家公布人工智能四大平台 AI的春天到了？ 日前，科技部召开新一代人工智能发展规划暨重大科技项目启动会，并公布首批国家新一代人工智能开放创新平台名单，标志着新一代人工智能发展规划和重大科技项目进入全面启动实施阶段。

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现，并不断地在优化中。

资讯： 推动云基础设施创新，英特尔与阿里云的“软硬合唱” 对于一家云服务厂商来说，实现软件、服务与硬件基础设施的完美整合，是在激烈市场竞争中的关键点。

资讯： 阿里巴巴成立达摩院，三年1000亿旨在创造颠覆性基础技术 10 月 11 日，2017 杭州·云栖大会开幕。会上，阿里巴巴集团首席技术官张建锋宣布阿里巴巴成立全球研究院达摩院，进行基础科学和颠覆式技术创新研究，并将在未来 3 年投入 1000 亿元进行基础科学研发。

资讯： 2020年我国大数据产业将破万亿 近日，《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的大数据发展规划进行梳理后发现，到2020年，我国大数据相关产品和服务业务收入将突破1万亿元，年均复合增长率保持30%左右。

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。 下面以PageRank为例，看看如何运行GraphX作业

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型，大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

TCP的backlog导致的超时问题排查

ECM功能上线北京region，用户可以通过EMR-3.2.0版本创建新集群体验，ECM提供组件的配置修改/起停等操作

搭建Gateway向E-MapReduce集群提交作业

阿里云E-Mapreduce实践: 使用hadoop restful api实现对集群信息的统计 资讯 全球因Hadoop服务器配置不当导致的数据泄露或达5120TB 网络犯罪分子近期开始针对配置不当的 Hadoop Clusters 与 CouchDB 服务器展开攻击活动。

本文根据hadoop/spark的RESTful API，实现了对集群基本信息的统计功能，包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据，具体的统计与分析，还需要基于这些基础数据做一些简单的开发。

云HBase新增支持深圳、上海区域、支持超过2个节点及高配节点。

本文接着yarn capacity scheduler的实现原理，介绍了capacity scheduler的设置和其中需要注意的问题，并结合EMR集群做了实际操作实验。

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制 本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。

该文章意在帮助大家，在E-MapReduce环境中停止启动yarn，hdfs服务。

E-MapReduce的HBase集群启动/停止方式

本周刊的内容包括人工智能在软件和硬件上的最新进展，以及Kylin、Kudu等开源软件的实践和实现原理分析

开源大数据周刊-第49期

近些年来机器学习中的子领域深度学习成为一个热门的话题。本文要介绍Intel开源的深度学习框架BigDL，它也是在Spark上的一个算法库，提供了全面的深度学习算法支持，包括数值计算（Tensor）和高阶神经网络等。

目前E-MapReduce的开源组件还未包含Kylin，下面介绍一种通过创建集群时设置的引导操作来完成集群上Kylin的部署。

阿里云E-MapReduce实践 云HBase助力物联网建设 物联网最大的特点写入量大，要求延迟低，且数据存量巨大。云HBase非常满足物联网存储需求，存储数P甚至百P的空间存储需求，延迟稳定在数毫秒之内，跟Hadoop分析体系有较为深入的结合，满足分析类的需求。

阿里云E-MapReduce动态 E-MapReduce发布新版本，可以在控制台管理meta表结构。 资讯 人脸识别，要靠哪些技术支撑，是否会泄露个人隐私？ 本文介绍人脸识别用到哪些技术，讨论如何保护用户隐私 一图看懂AI阵营：学习AI 站错队可导致自取灭亡 本文介绍现在AI技术阵营，对AI各流派进行细分，梳理了17种方法，并用 图直观展现。

最新的`aliyun-emapreduce-sdk`将`MaxCompute`数据以`DataSource`的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写`json/parquet/csv`的方式来访问MaxCompute.

阿里云E-MapReduce动态 阿里云HBase支持PB级别的分布式数据库即将开始公测 资讯 云时代的大数据存储-云HBase 纵观数据库发展的几十年，从网状数据库、层次数据库到RDBMS数据库，在最近几年的NewSQL的兴起，加上开源的运动，再加上云的特性，可以说是日新月异。

云数据库HBase公测开始 EMR产品价格全面优惠，价格和ECS自建一致

E-MapReduce提供HBase服务，本文介绍了几种HBase集群间迁移的方法

阿里云HBase支持PB级别的分布式数据库即将开始公测