(翻译自Drill官网) 当您提交Drill查询的时候，客户端或应用程序会把查询以SQL语句的形式发送到Drill集群的一个Drillbit。Drillbit是在每个在线的Drill节点上运行的进程，它负责协调，规划和执行查询，并按照最大限度地实现数据本地化的原则在集群中分发查询。 下图描述了客

本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。

Flink 机器学习进度几何？如何将 Flink 与 TensorFlow 等框架相结合？有哪些 Flink 在机器学习上的生产实践应用？为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

小红唇和阿里云大数据平台的牵手要从2016年5月份说起。随着小红唇业务的发展，用户量和内容量不断增加，迫切需要推出个性化功能，增加用户的使用时长和用户粘度。对于一个没有大数据/机器学习经验和技术储备，并且开发人员有限的年轻团队，在业务快速发展的情况下，如何在非常有限的开发资源和不影响正常业务开发的前提下，快速建立起自己的推荐系统，成为摆在小红唇技术团队面前一个不小的挑战。

近两年来，大数据发展浪潮席卷全球。研究机构IDC预测，全球大数据与分析市场规模将由2015年的1220亿美元，在5年间成长超过50%，并在2019年底达到1870亿美元的规模。

前言     在《数据库系统中的Code Generation技术介绍》一文中，我们阐述了代码的CPU执行效率对于大规模分布式OLAP系统的重要性。现在简单总结如下： OLAP系统中查询往往比较复杂，比如多表Join, 各种聚合函数以及窗口函数，其中涉及大量的Hash计算（比如采用Hash

本周包括 全景洞察大数据全貌、数据分析师的职业规划、打造智能聊天机器人、E-Mapreduce的相关实践及动态、最近值得关注的大数据会议。

spark2.0已经发布，本期整理了一些spark的好文（包括最佳实践、原理等）推荐给大家。

欢迎大家关注Spark中国社区！ 社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励 Spark社群钉钉群

E-MapReduce的emr-2.0.0以下(emr-2.0.0已默认集成Phoenix)的HBase集群中并不包含Phoenix，也没有启动yarn，下面介绍一种通过创建集群时设置的引导操作来完成集群上Phoenix的部署。

启信宝的企业数据范围广、维度多，覆盖8000万以上的企业， 19个产业链，95个细分行业，100个以上企业数据维度，企业覆盖率达98%以上。

绝大多数人对阿里云的定位仍是国内市场最大的IaaS提供商。不过，随着国内人工智能市场在2016年迎来爆发，阿里开始在人工智能领域发力，阿里云的这一角色正在悄然转变。 布局AI领域，阿里云扛起阿里人工智能大旗 虽然阿里不是BAT三座山头中在人工智能领域的声势最旺的那个（百度躺枪），但事实上阿里从2015年也已经开始了人工智能领域的布局。

2018年Q4 MaxCompute发布了一系列新功能。 本文对主要新功能和增强功能进行了概述。 SQL功能增强： Grouping Sets 多维聚合分析 （CUBE and ROLLUP） GROUPING 和 GROUPING_ID 函数 UDF和外表功能增强 SQL语言支持： 数据集.

11月1日，阿里云宣布大数据计算服务MaxCompute在北京和马来西亚同日开服。这是阿里云首次将其大数据计算服务在国内和海外双节点同时开服，特别是在马来西亚数据中心全球开放2天后，MaxCompute即开服马来西亚，意味着大数据计算产品正在市场和业务的呼唤下加速全球化拓展步伐。

10月12日，Apache Flink商业公司DataArtisans CEO、联合创始人Kostas Tzoumas在云栖大会上宣布和阿里集团达成战略合作伙伴关系，希望能够借助全球最大的云计算公司之一阿里云，服务更多的大数据实时流计算的客户。

什么是数据脱敏 又称数据漂白、数据去隐私化或数据变形。是对核心业务数据中敏感的信息，进行变形、转换、混淆，使得对业务数据中的身份、组织等隐私敏感信息进行去除或掩盖，以保护数据能被合理、安全地利用。

  最近因为几个ODPS任务节点扣分严重，计算健康度一度堕落至85分的红线以下，上了一次黑榜，立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化，略作记录。

本实验通过大数据开发套件的整库迁移功能，快速将 MySQL 数据整库迁移到 MaxCompute，从而提升工作效率、降低用户使用成本。

阿里巴巴分布式调度系统被命名为“伏羲”，主要负责管理集群的机器资源和调度并发的计算任务，为上层分布式应用提供稳定、高效、安全的资源管理和任务调度服务。本文将向读者展示阿里是如何使用伏羲来对5000节点集群进行调度与性能优化的。

Mars 是一个基于矩阵的统一分布式计算框架，在之前的文章中已经介绍了 Mars 是什么， 以及 Mars 分布式执行 ，而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么，这几乎取决于你想做什么，因为 Mars 作为底层运算库，实现了 numpy 70% 的常用接口。

MaxCompute Studio 2.8.2 新版本，主要新增可视化建表、保存/查看历史job日志、查看历史执行sql脚本，重点优化Editor性能解决大脚本文件实时编译卡顿问题等等~

本文PPT来自阿里云数据事业部高级专家薛明/艺卓于10月15日在2016年杭州云栖大会上发表的《MaxCompute大数据生态集成和开发工具》。

用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问

摘要 大数据计算服务MaxCompute是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案目前已在阿里巴巴内部得到大规模应用。来自阿里妈妈基础平台大规模数据处理技术专家向大家分享了MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用经验。

转载自xingbao各位好，这是介绍阿里云伏羲(fuxi)调度器系列文章的第四篇，今天主要介绍NoedLabel的调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似，定位于分布式系统中资源管理与分配的角色：一个典型的资源分配流程图如下所示： 作为调度器，目前FuxiM

作者：王永伟 规范化和反规范化   当属性层次被实例化为一系列维度，而不是单一的维度时，此模式被称为雪花模式。大多数联机事务处理系统（OLTP）的底层数据结构在设计时采用此种规范化技术，通过规范化处理将重复属性移至其自身所属的表中，删除冗余数据。

随着业务的发展壮大，数据量持续增加。集群变大，实时计算硬件资源消耗也变大。集群的维护成本不断增加,。大数据计算服务MaxCompute帮我们省去了这些维护成本。让我们更加专注于业务，专注让数据产生价值。

Flink产品介绍 目前实时计算的产品已经有两种模式，即共享模式和独享模式。这两种模式都是全托管方式，这种托管方式下用户不需要关心整个集群的运维。其次，共享模式和独享模式使用的都是Blink引擎。这两种模式为用户提供的主要功能也类似， 都提供开发控制台； 开发使用的都是Blink SQL，其中独享模式由于进入了用户的VPC，部署在用户的ECS上，因此可以使用很多底层的API，如UDX； 都提供一套的开箱即用的metric收集、展示功能； 都提供作业监控和报警功能。

深度学习的原理？局部响应归一化的作用？兄弟今天不是来讨论这个的，那都是科学家和算法同学的事儿。作为一个深度学习引擎，使命只有一个——就是快速和准确的计算。那怎么才能快呢？。。。借助于GPU（OpenCL），可以让运算飞起。。。

最近有朋友问，客户在香港ECS上搭建的MySQl，大概有100GB以上的数据，能否通过MaxCompute做海量数据分析，我的回答是YES！ 但客户担心香港与大陆之前数据连通性问题，我的回答依然是YES！ 为了让更多个客户不再困扰，笔者做了一份教程，可以通过大数据开发套件中的经典网络进行同步数据

摘要： 在大数据计算北京高端峰会上，阿里云计算平台高级专家薛明深入介绍了阿里巴巴大数据计算平台开发利器—MaxCompute Studio。一站式的 IDE，可以快速完成数据浏览和管理、进行基于 SQL 和 UDF 的数据开发，更具备完善的作业分析和优化辅助等功能。

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上，来自上海云贝网络科技有限公司的 首席架构师-刘立兼 分享了基于阿里云产品，如何构建一个大数据系统，以及系统如何在实际的业务过程中帮助客户提升价值。他主要从客户价值、产品线、服务、数据中心、基础设施、数据采集服务六个方面进行了实践分享。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 菜鸟的物流数据本身就有链路复杂、实操节点多、汇总维度多、考核逻辑复杂的特点，对于实时数据的计算存在很大挑战。经过仓配ETL团队的努力，目前仓配实时数据已覆盖了绝大多数场景，但是有这样一类特殊指标：“晚点超时指标”（例如：出库超6小时未揽收的订单量），仍存在实时汇总计算困难。

本文根据hadoop/spark的RESTful API，实现了对集群基本信息的统计功能，包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据，具体的统计与分析，还需要基于这些基础数据做一些简单的开发。

在最新版本的EMR-1.3.0已经解决了hive comment中文乱码问题。如果已经申请了包年包月的集群，用的是老版本，那么可以过下面介绍的步骤解决这个问题。

通过MaxCompute UDF来给海量数据的每一行产生唯一的id

MaxCompute是ET大脑供血系统极其重要的组成部分，如果没有MaxCompute，今天我们将没办法给大家讲述任何一个成功的故事。

前言       在《数据库系统中的Code Generation技术介绍》中，我们简单介绍了一下Code Generation技术及其在大规模OLAP系统，特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute

本文就 Vertica 的数据模型、存储、执行引擎以及这几个方面与 C-Store 的区别进行了简单的介绍。总的来说，Vertica 是一个纯正的列式存储数据库，为此，Vertica 设计实现了 projection 这一数据模型，并围绕该模型设计实现了一套大数据分析管理引擎。

1 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台，创建project（注意：首次使用的用户需要申请开通） 1.3 安装Docker环境 Docker官方说明了在不同操作系统下安装Docker的方法，您可以点击此处查看。