本文节选自阿里云MVP第五期嘉宾阿里云技术专家李靖威分享话题《使用X-Pack和Kibana实现Elasticsearch 的监控与报警》。以开源 Elasticsearch、阿里云 Elasticsearch和X-Pack的Demo show的形式， 对 Elasticsearch 集群监控和报警的内部原理进行讲解和使用方法演示。

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能，文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考，不代表官方性能指标承诺。

在维护客户基于MaxCompute搭建的数据仓库时，我们遇到过一些问题，踩过一些坑，同时积累了一些经验，也初步形成了一套操作流程规范，在这里与大家以Tip的形式与大家分享一下。 Tip1.避免同步视图 同步的源数据要避免使用视图，在客户的生产环境上曾经出现过这样的情况：由于生成视图的存储过程优化不好，同步视图在同步任务发起请求后很久没有生成出来，导致同步任务及后续的ETL挂起达数小时之久，所以后续和数据提供方接洽，将数据源从视图换为表，保证在同步之前同步表里的内容已经更新。

用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。 解决方案： jar -resources test_mr.

之前有很多DataWorks用户问MaxCompute访问权限问题，比如子账号为什么可以增删查别人在别的项目创建的表，即使这个子账号并没有加入那个项目 。 今天手把手教大家实现子账号授权并关闭跨Project的数据访问权限。

我们可以通过存储插件连接到本地文件系统，Hive,HBase，或是其他的数据源。在Drill的web界面的存储插件配置tab,你可以查看修改这些插件的配置。如果不支持HTTPS（默认就没有），你可以访问HTTP://{IP}:8047/storage 来查看和配置存储插件。可以用IP，也可以用ho.

写这篇文之前想起一个段子：“你在干嘛？”“我在王健林这儿跟马云谈生意。”“说人话！”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以，本来开篇想说上周到马云那里聊了会最新的云计算技术，想想还是不那么得瑟，老实交代吧，上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。

1. 背景     在手淘的搜索中，当用户输入query进行搜索之后，一方面有适合他的商品展现出来，另一方面，如何更好地理解用户意图，为其推荐更合适的关键词进行细分查找，从而更高效的引导用户到他想找的商品，也是一件非常重要的事情。

本文主要谈了一些分布式计算框架方面的心得。

背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。Relational Cache的工作原理类似物化视图，在用户提交SQL语句时对语句进行分析，并选出可用的预计算结果来加速查询。

本文全面总结了大数据项目组在亲听项目以及全链路debug项目上进行的实时流处理需求梳理，架构选型，以及达成效果 一、背景介绍 1.1亲听项目 亲听项目专注于帮助用户收集、展示、监控和处理用户体验问题，是保证产品的主观评价质量的利器，关于其具体功能可参考在ata搜索"亲听"查看系列文章。

云数据仓库是构建在云上的新一代数据仓库解决方案，如何选择符合企业需求的云数据仓库，选择时应考虑哪些关键问题成为很多企业管理者关心的问题。本文参考TDWI以及Forrester的研究报告内容，对云数据仓库选型参考依据进行介绍，希望能对您在云数据仓库选型时有所帮助。

背景   Elasticsearch作为一个开箱即用的搜索引擎，其丰富的功能和极低的使用门槛吸引着越来越多的公司和用户选择它作为搜索和数据分析的工具。用户在运维Elasticsearch集群时往往会遇到很多难题，具体来说有下面列举的几点： 使用方式往往比较粗糙，默认的设置并不适合每一个集群和业务，非精细化的设计将会极大的增加集群隐患； 集群出现问题，无法及时定位原因、寻找解决方案，低效的沟通或者解决问题的方式可能会使得问题变得愈发严重； ES提供的监控指标繁杂，指标多，意义不明确，需要一定的专业知识才可以理解，缺乏全局视角； 此外，集群潜在的异常无法发现，更不能及时规避风险。

 由于MaxCompute SQL本身不提供类似数据库的select * from table limit x offset y的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑，对查询结果进行分页/分批获取结果，本文将介绍几种方法，来实现上述场景。

Presto可以对接LDAP，实现用户密码认证。只需要Coordinator节点对接LDAP即可。主要步骤如下： 1.配置ApacheDS，启用LDAPS 2. 在ApacheDS中创建用户信息 3. 配置Presto Coordinator，重启生效 4. 验证配置

云栖社区启动了“票选最美云上大数据”活动，为用户带来了10+行业的实际大数据应用，同时得票TOP 4的企业更将与6位阿里大数据技术大牛一起，于3月9日线上“大数据技术峰会”为大家全面解析大数据技术与应用。

MaxCompute依托于阿里云的飞天基础架构，与今天业界常见的依托虚拟机技术 + 开源引擎的云原生方案有很大的不同。 随着联合计算平台的推出，MaxCompute 从可以无缝集成 Spark，到今天可以通过提供标准的 Kubernetes 拥抱更加丰富的开源生态，一直秉承“保持自研优势，拥抱开源生态”的原则，走出了一条与众不同的实践之路。

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制 本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

本周关注：大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。

内容简介：阿里云大数据平台 MaxCompute 系统为开发者提供全托管的、PB 级的数据仓库解决方案，MaxCompute Studio 是 MaxCompute 新推出的数据集成开发环境（IDE），为开发者提供了 数据开发调试 - 命令行工具集成 - 自助作业分析诊断 的全面解决方案。

众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 -- 小文件合并。

现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。

本文简单介绍了，如何在E-MapReduce上提交Oozie workflow job。提供了可以直接下载运行的示例代码，欢迎使用。

10月12日，阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破：将BigBench数据规模扩展到100T；流计算2.0每秒峰值达千万QPS，整体链路延时亚秒级；E-MapReduce对比同类产品平均性能提升3倍。

经常有人问在MaxCompute和Dataworks中，主子账号的权限分别对应哪些操作，是否可以用子账号创建Project？是否用子账号购买资源？子账号是否可以做数据同步？ 今天抽时间整理了一些用户经常遇到的MaxCompute/DataWorks权限问题，后续还会逐步更新。

Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。

3月22日，阿里云将正式开服售卖华东1（杭州）节点的大数据计算服务MaxCompute，以进一步提升对华东区域客户服务的响应速度，推动杭州大数据、人工智能产业的加速发展。

本文PPT来自阿里云数据事业部专家少杰于10月15日在2016年杭州云栖大会上发表的《MaxCompute SQL 2.0全新的计算引擎》。

TCP的backlog导致的超时问题排查

按照惯性思维，统计一个字段去重后的条数我们的sql写起来如下： Distinct的作用是用于从指定集合中消除重复的元组，经常和count搭档工作，语法如下 COUNT( { [ DISTINCT ] expression ] | * } ) 这时，可能会碰到如下情况，你想统计同时有多列字段重复的数目，你可能会立马想到如下方法： select count( distinct col1 , col2 , col3 , .......) from table 但是，这样是有问题的，如果值包含空，那么我们的结果是什么呢？如果你实验过，正如你实验的一样，结果会比实际少。

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。

从0到1 在我们公司初创的时候，组齐了三人的团队就开始做产品研发。当时整条业务线的东西都需要我们自己写，要在短时间内把东西做出来，效率是非常关键的。 我们的产品模式本身其实是需要验证的。创业有很多不确定性，在上线之前没人能知道，我们的一个项目究竟能达到多大的规模，能做到什么样。

随着业务的增长与发展，不同的Elasticsearch集群承担着多厚多样的功能需求。尤其是当集群规模增长、业务庞大时，需要耗费大量的精力运维集群。阿里云Elasticsearch研发了一套智能运维系统，可通多专家经验与数据驱动两个重要抓手帮助用户运维集群、提升业务的稳定性。

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306，在地名中输入“WH”，就会出现“武汉”“芜湖”“威海”等地名，输入“WUHU”就会出现“芜湖”。 我们在MaxCompute开发中也会遇到此类问题，今天为大家提供一个转换的UDF，下载地址见附件。

在过去的两年内，MaxCompute进行了翻天覆地的重构，从1.0版本全面升级到了2.0版本。而大家或许对于MaxCompute 2.0的一些新特性并不了解，在本文中，MaxCompute技术专家秋鹏就为大家详细介绍MaxCompute 2.0的新特性。

先前，我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用，本文将介绍 Mars 已实现的分布式执行架构，欢迎大家提出意见。 架构 Mars 提供了一套分布式执行 Tensor 的库。

　　近日，第26届操作系统原理大会（SOSP）在上海举行，来自亚洲、欧洲、北美等地区的高校、学术机构和众多科技企业研究人员齐聚一堂。阿里巴巴受邀参加此次会议，除在展区展示系统软件技术的同时，阿里集团副总裁周靖人在BOF环节向参会人员介绍了阿里在数据库、计算、机器学习、网络等领域的多项重点技术。

心脏病是人类健康的头号杀手。全世界1／3的人口死亡是因心脏病引起的，而我国，每年有几十万人死于心脏病。 所以，如果可以通过提取人体相关的体侧指标，通过数据挖掘的方式来分析不同特征对于心脏病的影响，对于预测和预防心脏病将起到至关重要的作用。本文将会通过真实的数据，通过阿里云机器学习平台搭建心脏病预测案例。<br />数据源:UCI<br />数据大小:7.49 KB<br />字段数量:15<br />使用组件:归一化,拆分,过滤式特征选择,SQL脚本,读数据表,类型转换<br />

大家在使用E-MapReduce的时候，都想对E-MapReduce的集群环境细节有些了解。这里根据实践，总结一下E-MapReduce集群环境与应用启动与停止，供大家在实际使用中进行参考。