开源大数据平台 E-MapReduce

我们知道Kafka提供一套非常完善的Metrics数据，覆盖Broker，Consumer，Producer，Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息，可以很好地监控Broker运行状态。

开源大数据周刊-2018年08月03日 第95期

开源大数据周刊-2018年07月13日 第93期

资讯 大数据，让国防交通民用运力装上智慧大脑战争年代，人民群众推着小推车踊跃支前。如今，在大数据支持下，国防交通民用运力动员会发生怎样的变化？ AI玩虐人工！“Magic”世界杯集锦“炫”出新高度2017年12月26日，新华社向全球发布了中国第一个媒体人工智能平台——媒体大脑1.0，引起海内外广泛关注。

资讯 Databricks开源机器学习平台MLFlow本文主要介绍Databricks开源机器学习平台MLFlow基础。 全民讨伐 Google AI “作恶”项目内部员工的严重抗议，终于让谷歌在 AI 武器化的道路上悬崖勒马了。

EMR Druid 探索（二） EMR Druid 上文介绍了 Druid 的特点、使用场景以及性能。EMR 在 3.11.0 引入了 Druid，并专门推出了一种新的集群类型：Druid 集群。在具体使用时，Druid 集群可以与 Hadoop 集群结合，以 HDFS 集群作为 deep storage 的存储，以 YARN 作为批量索引的计算引擎。

问题背景 yarn的fair类型资源池，是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair，即分配资源时只考虑内存限制。 对一个多个团队混合使用的大集群来说，如果想要在分配资源时同时考虑内存和cpu限制，需要指定调度策略为drf。

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

为了迎接更好的自己。 过去的止步不前 程序员最反感别人没写文档，最不喜欢自己写文档。 我一直很认同技术人员应该持续写技术文章，可以总结经验，打造个人品牌，等等。但加上公司内部分享，实际也没写多少篇，这可能也是很多技术人员的通病吧。

资讯 美国公布长达35页的《2016-2045年新兴科技趋势报告》， Hadoop社区最新动态

hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。 本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。

资讯 最高法院就Microsoft云计算案的法律问题开展口辩论本案对Microsoft的裁决，可能将会要求位于美国的企业提交其存储在国外服务器上的美国执法数据。在这种情况下，位于美国的企业可能将无法为国外提供许多云计算服务。

总理政府工作报告：加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性，你喜欢哪些？微软宣布在机器翻译方面取得突破，中翻英可达人类水平。推特爆款：谷歌大脑工程师的深度强化学习劝退文。

本文介绍使用HAProxy反向代理实现通过Gateway节点访问Presto服务的方法。该方法也很容扩展到其他组件，如Impala等。

本文介绍一些常见的集群跑hive作业参数优化，可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site，注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 dfs.

YARN可以通过相关配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能，文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考，不代表官方性能指标承诺。

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群，并运行Storm作业消费Kafka数据。

YARN中集成了CGroups的功能，使得NodeManger可以对container的CPU的资源使用进行控制，比如可以对单个container的CPU使用进行控制，也可以对NodeManger管理的总CPU进行控制。

奇虎360正式开源其高性能KV存储平台Zeppelin，Zeppelin 是奇虎 360 开源的一个高性能，高可用的分布式 Key-Value 存储平台，它以高性能、大集群为目标，并希望能在 Zeppelin 的基础上，不仅能够提供 KV 的访问，还可以通过简单的一层转换满足更复杂的协议需求。

阿里云的分析型数据库（AnalyticDB）和E-MapReduce（简称EMR）在大数据场景下非常有用，本文将介绍如何尝试打通两个产品，将通过EMR中自带的开源工具Sqoop来完成这个任务。

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光，也引发了公众对于大公司收集并使用用户数据的担忧。这篇文章比较客观的分析了公众的忧虑，以及互联网公司如何使用这些数据，可以说是一个很好数据安全的科普。

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

新功能预告：EMR Hadoop集群将增加Flink组件，版本1.4.0；EMR Kafka集群将增加Schema Registry和Rest Proxy组件

资讯 锤炼视频大数据时代的“火眼金睛” 我们身处一个大数据的时代，视频数据的爆炸性增长是这个时代的重要特征之一。如何让计算机看懂视频的内容，实现对海量视频数据的检索和分析是有效管理和利用视频大数据的关键。

HAS (Hadoop Authentication Service), 致力于解决开源大数据服务和生态系统的认证支持。目前开源大数据（Hadoop/Spark）在安全认证上只内置支持了Kerberos方式，HAS提出了一种新的认证方式, 通过与现有的认证和授权体系进行对接，使得在Hadoop/Spark在上面支持Kerberos以外的认证方式变成可能，并对最终用户简化和隐藏Kerberos的复杂性。

本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息，以及HBase、Kafka、TensorFlow等主流开源组件的实践分享和技术实现，还有来自京东推荐部门的推荐系统演进史，纯干货分享。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

资讯 国家公布人工智能四大平台 AI的春天到了？ 日前，科技部召开新一代人工智能发展规划暨重大科技项目启动会，并公布首批国家新一代人工智能开放创新平台名单，标志着新一代人工智能发展规划和重大科技项目进入全面启动实施阶段。

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现，并不断地在优化中。

资讯： 推动云基础设施创新，英特尔与阿里云的“软硬合唱” 对于一家云服务厂商来说，实现软件、服务与硬件基础设施的完美整合，是在激烈市场竞争中的关键点。

资讯： 阿里巴巴成立达摩院，三年1000亿旨在创造颠覆性基础技术 10 月 11 日，2017 杭州·云栖大会开幕。会上，阿里巴巴集团首席技术官张建锋宣布阿里巴巴成立全球研究院达摩院，进行基础科学和颠覆式技术创新研究，并将在未来 3 年投入 1000 亿元进行基础科学研发。

资讯： 2020年我国大数据产业将破万亿 近日，《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的大数据发展规划进行梳理后发现，到2020年，我国大数据相关产品和服务业务收入将突破1万亿元，年均复合增长率保持30%左右。