阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

什么是DT时代？         在2015年中国（深圳）IT领袖峰会上，马云发表演讲：过去7年我们从互联网创业到互联网产业，很快进入互联网经济，而且正在从IT走向DT时代，也许昨天称为IT领袖峰会，未来要称DT领袖峰会，DT不仅仅是技术提升，而是思想观念的提升。

本文提供了一种对深度学习模型量化压缩以及加速推理的方法

貌似大部分人在遇到报错的时候，都懒得用翻译软件翻译报错信息，一般直接抛出来问，甚至连报错信息都懒得复制，直接截图出来。所以这里特地总结了一下，最近一段时间有人经常在群里问到的报错信息。 ODPS-0130252:Cartesian product is not allowed “不允许笛卡尔积”主要是为了防止用户误操作，不小心漏了关联条件，造成大量的资源的耗费。

众所周知，数据开发和分析的同学每天都要花大量时间写MaxCompute SQL；Dataworks作为数据开发的IDE直接影响着大家的开发效率，这次新上线的Dataworks我们在编辑体验上做了很多工作，在前端实现MaxCompute SQL和编辑器参数等扩展语法的AST解析，并实现更好更智能的代

AI·OS（Online Serving），大数据深度学习在线服务体系，由我们工程、算法、效率的同事们砥砺十年而成，支撑起海内外阿里电商全部的搜索和推荐业务，时刻置身大数据主战场，引导成交占据集团大盘主体；此外，作为中台技术中坚，AI·OS已是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施；更为重要的是，AI·OS体系的云产品矩阵服务于全球开发者，今年预期在数千万级的营收规模。

理解大数据开发套件和大数据计算服务的权限体系。

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

IDEA集成MaxCompute

传统的运维人员通常只面对几十或者上百台的服务器，但在大规模分布式集群中，运维人员面临工作任务明显不同。本文分别阐述服务器数量激增，要求提升全局掌控能力，如何实现系统的自我保护和自动化恢复，大规模与精细化平衡，以及需要开发和运维更加紧密合作等方面，通过对真实数据进行分析和预测，将判断失误概率降到最低。

最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

阿里云MVP曾勇撰写的《ELK运维监控入门实战》系列，以Elasticsearch中文社区网站运维监控体系搭建作为案例，讲解了ELK监控系统的相关原理和技术实现，可作为对ELK感兴趣的同学的入门级文章。本篇作为第一篇，介绍了项目背景和技术架构。

10月14日，2017杭州云栖大会·阿里云大数据计算服务（MaxCompute）专场，阿里巴巴计算平台架构师林伟分享了主题《MaxCompute2.0的NewSQL演进之路》，介绍阿里云大数据计算服务MaxCompute 2.0在NewSQL上所做的优化和实践工作。

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

摘要 在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。

集群医生华佗是集群自动化故障监测和处理系统，是平台和运维对接的关键系统，它承担了飞天平台自动化故障处理系统的任务。如何能又快又好地发现和解决线上故障呢？本文为您解析自动化故障处理系统背后的秘密。一起来了解华佗是如何提升集群的故障发现、处理的效率和准确性，解放运维人员，提高飞天稳定性和可靠性的 。

本文将为您介绍如何对数据随机取出数据的前 N 条数据。 示例数据 目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.

欢迎大家关注Spark中国社区！ 社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励 Spark社群钉钉群

绝大多数人对阿里云的定位仍是国内市场最大的IaaS提供商。不过，随着国内人工智能市场在2016年迎来爆发，阿里开始在人工智能领域发力，阿里云的这一角色正在悄然转变。 布局AI领域，阿里云扛起阿里人工智能大旗 虽然阿里不是BAT三座山头中在人工智能领域的声势最旺的那个（百度躺枪），但事实上阿里从2015年也已经开始了人工智能领域的布局。

本实验通过大数据开发套件的整库迁移功能，快速将 MySQL 数据整库迁移到 MaxCompute，从而提升工作效率、降低用户使用成本。

用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问

阿里云的分析型数据库（AnalyticDB）和E-MapReduce（简称EMR）在大数据场景下非常有用，本文将介绍如何尝试打通两个产品，将通过EMR中自带的开源工具Sqoop来完成这个任务。

摘要 大数据计算服务MaxCompute是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案目前已在阿里巴巴内部得到大规模应用。来自阿里妈妈基础平台大规模数据处理技术专家向大家分享了MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用经验。

作者：王永伟 规范化和反规范化   当属性层次被实例化为一系列维度，而不是单一的维度时，此模式被称为雪花模式。大多数联机事务处理系统（OLTP）的底层数据结构在设计时采用此种规范化技术，通过规范化处理将重复属性移至其自身所属的表中，删除冗余数据。

2017年12月19 -20日，引发全球科技共振的云栖大会在国家会议中心举办2017年的压轴场—北京峰会。在本次大会上，阿里云主力计算平台MaxCompute将全球首次现场完成基于公共云的BigBench评测，并由阿里云总裁胡晓明在20日上午的主论坛宣布最终结果，令人期待。

2018年9月21～22日，在以“驱动数字科技”为主题的云栖大会上，阿里巴巴搜索事业部特别推出了“搜索推荐专场”，“推荐与搜索引擎AI·OS专场”，深度参与了这场科技盛宴。   阿里巴巴推荐与搜索引擎平台支持了包括淘宝、天猫、菜鸟、优酷以及海外电商在内的整个阿里集团的推荐与搜索业务，引导成交占据了集团GMV的绝大部分份额。

最近，在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars，基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听到 Mars，很多第一次听说的同学都会灵魂三问：Mars 是什么，能做什么，怎么做的。

2017年4月11日晚，在西安举行的架构体系的顶级会议ASPLOS（面向编程语言和操作系统的架构支持会议，Architectural Support for Programming Languages and Operating Systems）公布了最佳论文、最有影响力论文和 Test of Time 几项大奖。

阿里云Elasticsearch采集上游数据的方式有很多种，其中有一个与开源完全兼容的方案：通过logstash及logstash周围的强大的plugin实现数据采集。 首先我们需要在ECS中来安装部署logstash，购买阿里云ECS服务，准备1.8以上版本的JDK。

本文主要介绍厦门美柚科技有限公司在基于MaxCompute多团队协同数据开发项目管理,权限管理,以及数据,资源共享的最佳实践

“很多企业对一些新事物的接受速度不够快，这不能怪我们的企业家，这其实是因为我们整个市场要做这样的转型，这本身就是一个比较复杂和需要下定决心的事情。”PTC（美国参数软件公司）全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

为了方便用户云上分析大数据的需求，报警分析云上集成解决方案提供了一系列的数据分析产品，可以帮助各类客户快速轻松地构建和部署大数据分析应用。

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

Flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。

2017年是以数字经济为核心的新经济在助推政府、企业快速向数字化转型，也推动了产业互联网、智慧互联网的快速发展。企业上云不仅仅只是一个口号，是以运营商、政府、云企业共同推动，正在一步步落实，并且给企业带来“普惠”价值。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 1.计算广告背景 广告仍然是互联网公司的主要变现手段，其市场规模2017年已达3000亿元，据统计全球互联网市值前十的公司广告收入占比高达40%，可见其重要性。

我们通过阿里云MaxCompute 和大数据开发套件，引用第三方的Base64 JAR，来实现字符串的编码、解码；