分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。

一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在； 计算，遍历内

Elasticsearch广泛应用于全文检索和实时日志分析场景。为了帮助开发者更好的理解和应用Elasticsearch和ELK相关技术，小编将甄选一系列技术干货分享给大家。本文作者在Elastisearch系统搭建和应用领域有深入的实践经验，现转载作者《深入理解Elasticsearch》读书笔记，梳理Elasticsearch使用过程中的一些技术难点。

阿里云Elasticsearch采集上游数据的方式有很多种，其中有一个与开源完全兼容的方案：通过logstash及logstash周围的强大的plugin实现数据采集。 首先我们需要在ECS中来安装部署logstash，购买阿里云ECS服务，准备1.8以上版本的JDK。

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期，估值曾高达10亿美元。然而，最后被收购时金额大跳水。据传当时的收购价为2亿美元，不过这一数额并未得到阿里巴巴和豌豆荚的确认。

通过DataWorks归档日志服务数据至MaxCompute

本文主要介绍厦门美柚科技有限公司在基于MaxCompute多团队协同数据开发项目管理,权限管理,以及数据,资源共享的最佳实践

“在原来自建的环境里进行一个维度的数据处理大约需要 2-3天时间，而使用数加平台处理相同数据只需要 3-6 个小时。这些效率的提升可以缩短数据分析应用产品的研发周期，并能更好的提高这些产品的需求符合度。

转载自yizhuo 基因、测序、分析 基因，生命的基本因素，是人类和其他生物的基础遗传物质。人有 23 对染色体，总共记录了大约 3Gb 个碱基（这里的 b 是 base，即碱基，可不是 bit，参考这里），每个位置上的碱基可能是 ATCG 中的一个。简单理解起来，就是有了这 3Gb 长的字

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

本文首先对MaxCompute作业执行的各个阶段进行说明，然后以MaxCompute Studio为例，说明如何查看作业排队位置，查看队列详情以及作业状态转换历史信息。

资讯 大数据，让国防交通民用运力装上智慧大脑战争年代，人民群众推着小推车踊跃支前。如今，在大数据支持下，国防交通民用运力动员会发生怎样的变化？ AI玩虐人工！“Magic”世界杯集锦“炫”出新高度2017年12月26日，新华社向全球发布了中国第一个媒体人工智能平台——媒体大脑1.0，引起海内外广泛关注。

MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源，60CU以上的用户（备注：CU过小无法发挥计算资源及管家的优势）。 2、支持区域，MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

概述 ServiceModeJob（又名：OnlineJob）是fuxi提供的一套准实时计算框架，通过毫秒级的调度开销和网络Shuffle模式为小Job提供更高的性能。目前ODPS对内生产集群约1/3的Job通过ServiceModeJob进行处理，对其中小Job比较多的集群，这个占比会提高到70

为了方便用户云上分析大数据的需求，报警分析云上集成解决方案提供了一系列的数据分析产品，可以帮助各类客户快速轻松地构建和部署大数据分析应用。

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

本文把我通过Flunetd，把数据上传到DataHub的配置过程记录下来，希望对大家在配置中能有帮助。

Flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。

本周关注：大数据教育、翻译行业应用，大数据与管理的关系、hadoop与mpp的关系、Facebook 60T+的spark应用

云栖大会成都峰会大数据Workshop入口

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 1.计算广告背景 广告仍然是互联网公司的主要变现手段，其市场规模2017年已达3000亿元，据统计全球互联网市值前十的公司广告收入占比高达40%，可见其重要性。

MaxCompute (ODPS) ( __注1__ )是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 ODPS2.0除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

城市车辆逐年增长，道路通行关系市民生活，也考验城市管理者智慧。除了加大基础设施投入，杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面，都能看到“城市大脑”和大数据发挥的“智慧”作用。

本文向您详细介绍如何使用DataWorks数据同步功能，将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务。

阿里云坚持将计算能力变成像水电煤一样的公共服务，提供给大众，而非卖服务器，这跟Serverless 架构理念一致。在本文中，班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛，实现数据普惠。

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作，agg的全称是aggregation(聚合操作)，是一类SQL算子的统称，Flink中最常用的Agg操作有COUNT/SUM/AVG等，详情参见Flink支持的聚合操作列表。

MaxCompute是阿里巴巴内部唯一的大数据处理平台，在全球十几个地区提供公有云服务，为上百家专有云输出计算能力。作为支撑如此庞大系统的SRE团队，如何从容面对的是EB级数据，TB级带宽，上百万块硬盘，以及数上万的客户工单？

sqoop简介 sqoop是什么 Sqoop是一款开源的软件工具，提供了Hadoop和关系型数据库中的数据相互转移的功能。可以将一个关系型数据库（例如 ： MySQL）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 在E-MapReduce集群中使用sqo

开通MaxCompute后，请通过DataWorks控制台创建MaxCompute项目空间

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据采集：日志流数据解析及上传》篇所需。主要帮助现场学员熟悉并掌握阿里云DataHub的操作和使用。

摘要在2017杭州云栖大会机器学习平台PAI专场上阿里巴巴高级算法专家杨军结合具体案例分享了端到端GPU性能优化在深度学习场景下的应用实践。   本文内容根据嘉宾演讲视频以及PPT整理而成。   目前深度学习和GPU已经成为了人工智能的基础一软一硬的结合能够帮助我们实现图像识别、语音识别以及视频的处理那么如何优化深度学习框架与GPU资源也是机器学习平台的一个研究方向。

一键扩容E-MapReduce集群，运维SO EASY 谈到集群运维，我们不得不说说集群的扩容。随着业务量的增长，数据也会跟着增长，这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢，我们分下面的两个场景跟大家介绍一下 1. IDC机房集群扩容。当我们集群需要扩容的时候，一般会经过下

语法: add py [comment 'cmt'][-f]; 说明：local_file.py：.py文件 注册函数 语法: CREATE FUNCTION AS USING ; 说明： function_name：UDF函数名，这个名字就是SQL中引用该函数所使用的名字。

摘要本文从马力作为功率衡量标准为切入点介绍了大数据领域的计算力衡量标准TPCBB以及MaxCompute2.0在Big Bench上的卓越表现。同时详细地分享了取得优异成绩背后的产品在最新有哪些进展帮助大家全面的了解MaxCumpute2.0。

本次发布包括： 修改了界面的版本选择，新增了2.0.0版本，隐去了1.x版本（用SDK仍然可以继续创建，但我们强烈建议升级到最新版本），合并了Hadoop和HBase的版本选择。 Hadoop版本进行了升级，2.6.0 -> 2.7.2 集群JDK版本升级，1.7.0 -> 1.8.0 新增

在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法。

9月19日，云栖大会的Flink分论坛，在杭州正式开幕。今天是云栖大会的第一天，据悉，这也是云栖大会首次加入Flink的论坛，足见阿里对于Flink前景的看好与重视。本次Flink分论坛，除了阿里巴巴的嘉宾外，论坛也邀请了Data Artisans的联合创始人，Flink的开创者和发扬者同台，共话Flink的前世今生。

本文PPT来自阿里云数据事业部高级专家应答于10月15日在2016年杭州云栖大会上发表的《数据无边界:结构化数据在MaxCompute上的处理》。

【通知】阿里云机器学习PAI即将商业化 尊敬的机器学习PAI用户 感谢您一直以来对PAI的支持，从2015年开始，PAI平台和许多深度学习的爱好者一起成长，PAI始终坚持为深度学习用户带来更好的服务与支持，在2018年1月17日，PAI将正式商业化升级，以0元的价格为华东深度学习用户继续提供服务，华北区用户可以通过付费享受独有的计算资源。