swift是搜索事业部自主研发分布式消息系统，它的主要存储基于分布式文件系统，资源需求基于分布式调度系统。swift能支持每秒数亿的消息传递，支持PB级消息的存储。

本文我们将通过对有同样数据量、表结构除分区列其他都一模一样的表,从查询计算、写入、删除数据几个简单操作进行对比，了解MaxCompute分区表和非分区表在使用上有什么差异。 在介绍之前，需要大家先了解MaxCompute分区的概念。

10月14日，2017杭州云栖大会·阿里云大数据计算服务（MaxCompute）专场，阿里云技术专家路璐带来《MaxCompute基于BigBench标准的最新测试进展》分享。   在11日的主论坛上，MaxCompute做了敢为人先、引领潮流BigBench On MaxCompute2.0的重磅发布，意味着MaxCompute成为第一个做到100TB数据规模的BigBench，并且在100T数据规模的Qpm达到7830Qpm，成为第一个达到7000分的大数据引擎。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在无线数据分析中的应用。阿里云实时计算可以为无线App的数据分析场景实时化助力，帮助您做到实时化分析手机AP的各项指标，包括App版本分布情况、Crash检测和等。

分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。

一、前言 MaxCompute Graph 是基于飞天平台实现的面向迭代的图处理框架，为用户提供了类似于 Pregel 的编程接口。MaxCompute Graph（以下简称 Graph ）作业包含图加载和计算两个阶段： 加载，将存储在表中的数据载入到内存中，以点和边的形式存在； 计算，遍历内

Elasticsearch广泛应用于全文检索和实时日志分析场景。为了帮助开发者更好的理解和应用Elasticsearch和ELK相关技术，小编将甄选一系列技术干货分享给大家。本文作者在Elastisearch系统搭建和应用领域有深入的实践经验，现转载作者《深入理解Elasticsearch》读书笔记，梳理Elasticsearch使用过程中的一些技术难点。

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期，估值曾高达10亿美元。然而，最后被收购时金额大跳水。据传当时的收购价为2亿美元，不过这一数额并未得到阿里巴巴和豌豆荚的确认。

通过DataWorks归档日志服务数据至MaxCompute

“在原来自建的环境里进行一个维度的数据处理大约需要 2-3天时间，而使用数加平台处理相同数据只需要 3-6 个小时。这些效率的提升可以缩短数据分析应用产品的研发周期，并能更好的提高这些产品的需求符合度。

转载自yizhuo 基因、测序、分析 基因，生命的基本因素，是人类和其他生物的基础遗传物质。人有 23 对染色体，总共记录了大约 3Gb 个碱基（这里的 b 是 base，即碱基，可不是 bit，参考这里），每个位置上的碱基可能是 ATCG 中的一个。简单理解起来，就是有了这 3Gb 长的字

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

本文首先对MaxCompute作业执行的各个阶段进行说明，然后以MaxCompute Studio为例，说明如何查看作业排队位置，查看队列详情以及作业状态转换历史信息。

资讯 大数据，让国防交通民用运力装上智慧大脑战争年代，人民群众推着小推车踊跃支前。如今，在大数据支持下，国防交通民用运力动员会发生怎样的变化？ AI玩虐人工！“Magic”世界杯集锦“炫”出新高度2017年12月26日，新华社向全球发布了中国第一个媒体人工智能平台——媒体大脑1.0，引起海内外广泛关注。

MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源，60CU以上的用户（备注：CU过小无法发挥计算资源及管家的优势）。 2、支持区域，MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

为了方便用户云上分析大数据的需求，报警分析云上集成解决方案提供了一系列的数据分析产品，可以帮助各类客户快速轻松地构建和部署大数据分析应用。

Flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。

云栖大会成都峰会大数据Workshop入口

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 1.计算广告背景 广告仍然是互联网公司的主要变现手段，其市场规模2017年已达3000亿元，据统计全球互联网市值前十的公司广告收入占比高达40%，可见其重要性。

城市车辆逐年增长，道路通行关系市民生活，也考验城市管理者智慧。除了加大基础设施投入，杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面，都能看到“城市大脑”和大数据发挥的“智慧”作用。

本文向您详细介绍如何使用DataWorks数据同步功能，将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务。

阿里云坚持将计算能力变成像水电煤一样的公共服务，提供给大众，而非卖服务器，这跟Serverless 架构理念一致。在本文中，班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛，实现数据普惠。

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作，agg的全称是aggregation(聚合操作)，是一类SQL算子的统称，Flink中最常用的Agg操作有COUNT/SUM/AVG等，详情参见Flink支持的聚合操作列表。

MaxCompute是阿里巴巴内部唯一的大数据处理平台，在全球十几个地区提供公有云服务，为上百家专有云输出计算能力。作为支撑如此庞大系统的SRE团队，如何从容面对的是EB级数据，TB级带宽，上百万块硬盘，以及数上万的客户工单？

sqoop简介 sqoop是什么 Sqoop是一款开源的软件工具，提供了Hadoop和关系型数据库中的数据相互转移的功能。可以将一个关系型数据库（例如 ： MySQL）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 在E-MapReduce集群中使用sqo

开通MaxCompute后，请通过DataWorks控制台创建MaxCompute项目空间

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据采集：日志流数据解析及上传》篇所需。主要帮助现场学员熟悉并掌握阿里云DataHub的操作和使用。

摘要在2017杭州云栖大会机器学习平台PAI专场上阿里巴巴高级算法专家杨军结合具体案例分享了端到端GPU性能优化在深度学习场景下的应用实践。   本文内容根据嘉宾演讲视频以及PPT整理而成。   目前深度学习和GPU已经成为了人工智能的基础一软一硬的结合能够帮助我们实现图像识别、语音识别以及视频的处理那么如何优化深度学习框架与GPU资源也是机器学习平台的一个研究方向。

一键扩容E-MapReduce集群，运维SO EASY 谈到集群运维，我们不得不说说集群的扩容。随着业务量的增长，数据也会跟着增长，这样我们的集群规模也不得不跟着进行扩容。那么集群如何进行扩容呢，我们分下面的两个场景跟大家介绍一下 1. IDC机房集群扩容。当我们集群需要扩容的时候，一般会经过下

语法: add py [comment 'cmt'][-f]; 说明：local_file.py：.py文件 注册函数 语法: CREATE FUNCTION AS USING ; 说明： function_name：UDF函数名，这个名字就是SQL中引用该函数所使用的名字。

摘要本文从马力作为功率衡量标准为切入点介绍了大数据领域的计算力衡量标准TPCBB以及MaxCompute2.0在Big Bench上的卓越表现。同时详细地分享了取得优异成绩背后的产品在最新有哪些进展帮助大家全面的了解MaxCumpute2.0。

本次发布包括： 修改了界面的版本选择，新增了2.0.0版本，隐去了1.x版本（用SDK仍然可以继续创建，但我们强烈建议升级到最新版本），合并了Hadoop和HBase的版本选择。 Hadoop版本进行了升级，2.6.0 -> 2.7.2 集群JDK版本升级，1.7.0 -> 1.8.0 新增

在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法。

9月19日，云栖大会的Flink分论坛，在杭州正式开幕。今天是云栖大会的第一天，据悉，这也是云栖大会首次加入Flink的论坛，足见阿里对于Flink前景的看好与重视。本次Flink分论坛，除了阿里巴巴的嘉宾外，论坛也邀请了Data Artisans的联合创始人，Flink的开创者和发扬者同台，共话Flink的前世今生。

本文PPT来自阿里云数据事业部高级专家应答于10月15日在2016年杭州云栖大会上发表的《数据无边界:结构化数据在MaxCompute上的处理》。

【通知】阿里云机器学习PAI即将商业化 尊敬的机器学习PAI用户 感谢您一直以来对PAI的支持，从2015年开始，PAI平台和许多深度学习的爱好者一起成长，PAI始终坚持为深度学习用户带来更好的服务与支持，在2018年1月17日，PAI将正式商业化升级，以0元的价格为华东深度学习用户继续提供服务，华北区用户可以通过付费享受独有的计算资源。

2009年这项关于大数据的技术长征开始。王坚带队，目标是自研大数据计算平台MaxCompute统一阿里巴巴内部的数据和大数据计算体系。

2017年双11，虽然仓配系统做了非常多业务端的优化，使得峰值不会达到如交易系统那般恐怖的程度，但仓配业务链路长、节点多、分析维度复杂的业务特点，也使我们在开发仓配实时数据的过程中，面临了不少挑战。而正好基于双11的业务背景，我们也开始着手建立起带有"仓配特色"的实时数据版图。

MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。