4月新功能发布，精彩技术好文推荐，5月线上线下活动抢先知道，尽在4月刊。

流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。

基于Blink为新商业调控打造实时大数据交互查询服务 从IT到DT、从电商到新商业，阿里巴巴的每个细胞都存在大数据的DNA，如何挖掘大数据的价值成为抢占未来先机的金钥匙！传统的大数据开发主要基于离线计算平台MaxCompute（ODPS）进行天级别、小时级别的批量数据分析，但近些年随着618、99.

美甲帮APP目前有几百万的用户，然而不同用户喜好和动机不同，譬如是想提升美甲技艺，还是想通过美甲图片选款，或者是想在商城里购买美甲产品，如何挖掘用户需求并以此进行精准化营销或个性化推荐，提升客户体验同时又可以增加收入，这些都是美甲帮最关注的问题。

阿里云Elasticsearch集成了Elastic Stack商业版的X-Pack组件包，包括安全、告警、监控、报表生成、图分析、机器学习等组件，用户可以开箱即用。本文将对X-Pack 的机器学习功能进行详细解读。

本文接着yarn capacity scheduler的实现原理，介绍了capacity scheduler的设置和其中需要注意的问题，并结合EMR集群做了实际操作实验。

奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面： 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考

什么是DT时代？         在2015年中国（深圳）IT领袖峰会上，马云发表演讲：过去7年我们从互联网创业到互联网产业，很快进入互联网经济，而且正在从IT走向DT时代，也许昨天称为IT领袖峰会，未来要称DT领袖峰会，DT不仅仅是技术提升，而是思想观念的提升。

Connector 是连接外部数据和blink计算框架的桥梁，也是流计算的入口和出口。目前，blink支持了集团内部绝大多数的上下游（如下图)，详细的接入方法可以见官方文档，本文主要阐述connector设计和使用上需要注意的问题。

摘要：在2017杭州云栖大会机器学习平台PAI专场上，阿里巴巴研究员、阿里云机器学习平台PAI负责人林伟为大家分享了人工智能的发展历史以及阿里云机器学习平台PAI的简单情况和特性。   本文内容根据嘉宾演讲视频以及PPT整理而成。

本文提供了一种对深度学习模型量化压缩以及加速推理的方法

1. 背景     作为电子商务网站，淘宝网上的每个商品都有一个价格，该价格从一个很重要的维度上反应出一个商品的品质。但是由于该价格是由第三方卖家自己确定的，因此存在一定的随机性。一个价格过低的商品，其假货的可能性往往较大，比如500元的劳力士手表，或者商品的质量存在问题；同时一个价格过高的商品，

本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

在2016云栖大会杭州峰会人工智能专场上，阿里云研究员、资深总监华先胜为大家带来了阿里云眼视觉大数据智能计算的实践经验。所谓“一图胜千言”，图像所包含的数据量非常之大，如何充分利用人工智能和大数据以及云计算的平台从海量的视频与图像信息中挖掘数据的价值呢？本文就为大家分享。

摘要：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。

Delta Lake 是 Databricks 推出的一种新型的数据湖方案，解决了传统数据湖方案中的诸多痛点。其中的核心组件 Delta 也于近期开源。本次分享将围绕 Delta Lake 和 Delta 的诸多细节展开，如 Delta Lake 的适用场景、技术优势，Delta 的原理实现以及一些高级特性等，并就现有解决方案做横向对比。

众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代

BasicEngine是阿里巴巴搜索事业部自研的推荐在线召回引擎，依托强大的搜索底层技术支持，可以在线实现复杂的关联排序运算，支持灵活的推荐策略组合，为推荐系统的升级发展拓展了无限想象空间。

如何从海量的历史、实时数据中快速获取有用信息，令搜索变得越来越具挑战性。OpenSearch是阿里云推出的一款云搜索服务，本文将介绍OpenSearch的发展历程、基本功能、以及实现原理和架构，以实际应用场景为例讲述应用实践过程。

票选最美云上大数据暨大数据技术峰会上，阿里云飞天一部高级专家振禹为大家带来题为“MaxCompute SQL 现状与展望”的演讲。本文重点解析了MaxCompute SQL 现状，详细介绍了各种功能，其中包括编译器用户友好功能、复杂类型、CTE、参数化视图和SEMI JION等，接着说明了MaxCompute SQL即将完成与推进中的功能，最后作了简要总结。

文章将从网络流控的概念与背景、TCP的流控机制、Flink TCP-based 反压机制（before V1.5）、Flink Credit-based 反压机制 （since V1.5）、总结与思考等几个方面进行分享。

分布式的R

据媒体报道，6月16日，国际知名调研机构Gartner公布了2017年全球云计算IaaS魔力象限，阿里云强势崛起成为这一核心领域的前四名。这也是中国云计算厂商首次进入Gartner的IaaS魔力象限。

摘要传统的数据分析经常使用的工具是Hadoop或Spark在使用之前环境是需要用户自己去搭建的。随着业务逐渐向云迁移如何在云上进行大数据分析是需要解决的问题。为此阿里云提供了一项很重要的服务——大数据计算服务MaxCompute。

专利信息的『大数据』与其它领域的『大数据』多少有些不同，虽然全球专利信息的总量仅在1亿多条，但是每条专利信息要分析获取的数据维度目前就多达200多项，实际处理的数据量在百亿级别。

目前网站的一些业务数据存在了数据库中，这些数据往往需要做进一步的分析，如：需要跟一些日志数据关联分析，或者需要进行一些如机器学习的分析。在阿里云上，目前E-Mapreduce可以满足这类进一步分析的需求。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在天猫双十一大屏业务中的应用。 天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发，整个开发时间长达一个月。

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

传统的运维人员通常只面对几十或者上百台的服务器，但在大规模分布式集群中，运维人员面临工作任务明显不同。本文分别阐述服务器数量激增，要求提升全局掌控能力，如何实现系统的自我保护和自动化恢复，大规模与精细化平衡，以及需要开发和运维更加紧密合作等方面，通过对真实数据进行分析和预测，将判断失误概率降到最低。

最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

峰值期间，汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹；同时，还需要根据用户需求在亿级日志表中做秒级查询。

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。

聊什么 在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统.

本文列举了Flume采集网站日志到MaxCompute的一些常见问题，欢迎大家补充；

集群医生华佗是集群自动化故障监测和处理系统，是平台和运维对接的关键系统，它承担了飞天平台自动化故障处理系统的任务。如何能又快又好地发现和解决线上故障呢？本文为您解析自动化故障处理系统背后的秘密。一起来了解华佗是如何提升集群的故障发现、处理的效率和准确性，解放运维人员，提高飞天稳定性和可靠性的 。

一、 MaxCompute是什么 你的OSS数据是否作堆积在一旁沉睡已久存储成本变为企业负担你是否想唤醒沉睡的数据驱动你的业务前行MaxCompute可以帮助你高效且低成本的解决这些问题通过对海量数据进行分析和计算来实现勾勒用户画像、提升营销转化、挖掘产品优化方向、预测业务发展等丰富的业务场景。

本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。

机构测算，2016年中国公有云市场份额为150亿元左右，阿里云占据将近40%市场份额，一骑绝尘。