大数据计算 MaxCompute

阿里云智能研究员 林伟 ：阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考，使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合，这是阿里巴巴最佳实践的宝贵资产，是大数据的新一代架构。

为了帮助MaxCompute用户更顺畅的使用产品，阿里云MaxCompute团队基于开发者社区和其他渠道总结归纳出相关功能点的常见问题，联合阿里云开发者社区共同打造了《阿里云MaxCompute百问百答》电子手册，希望可以给正在学习和使用MaxCompute产品的用户提供一些帮助

阿里云云原生一体化数仓产品技术深度解读。

本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人：刘一鸣 Hologres 产品经理

本篇内容分享了MaxCompute湖仓一体介绍。 分享人：孟硕 阿里云 MaxCompute产品专家

高雪峰 阿里云计算平台产品与解决方案总经理

随着法律的完善，数据安全，信息安全，网络安全，升级成国家安全，所以数据安全不管对用户，还是对公司也都会变的越来越重要。做为大数据云数仓解决方案的领导者，阿里云MaxCompute在安全体系上也做了很多特性，本文给大家简单介绍下MaxCompute关于数据安全的一些能力。

MaxCompute作为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级 ，结合数据生命周期，针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景，构建全生命周期的数据安全防护体系。

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。

本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。

本文主要介绍DataWorks智能数据建模的核心产品能力。

本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。

本文主要介绍如何通过湖仓一体，打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖，以及 Hologres、MySQL 等数据平台，并通过 DataWorks 做统一数据开发和治理。

云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力，实现了端到端的安全管控能力。

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理，六大热门主题，六位大数据专家，带你了解当前炙手可热的云数仓产品最新演进趋势。

MaxCompute 是阿里巴巴自研的云原生数据仓库，同时也兼容大部分大数据生态系统。一个平台无法实现所有功能和解决所有问题，MaxCompute 需持续增强生态与开放性建设，方能走得更远。

这篇文章主要讲一个SQL优化反映的两个优化点。分别是： 一、笛卡尔积逻辑的参数优化。 二、一个复杂JOIN逻辑的优化思路。

MaxCompute近期推出新版控制和新的售卖规格，新售卖规格包含弹性预留CU、资源抵扣包。本文为您介绍新售卖规格的特性、限制以及新版控制包含的具体功能以及相关操作。

为满足用户多元化数据计算需求，阿里云ODPS升级为一体化大数据平台。升级后的ODPS支持大规模批量计算、实时分析等服务，提供实时流式计算、机器学习等多种计算能力，可同时调度超10万台以上服务器规模进行并行计算。从09年开始自研的ODPS 平台也是目前中国应用最为广泛的一体化大数据平台。

IDC认为，从提升企业中长期发展质量、降低综合投入成本的角度出发，大数据技术领域将呈现出两个显著趋势：一体化和融合化。企业应以战略和顶层设计为先导，用体系化的思维全面构建大数据能力架构，避免形成新的数据、业务和能力孤岛。 【下载地址见文末】

目前随着公司业务的不断扩展，各个业务线的数据也越来越多，如果所有数据都集中管理比较错综复杂。MaxCompute的跨项目访问资源比较适合这样的场景。每个业务线创建对应的project，自行管理数据。如果有需要访问其他业务线数据的诉求，可以基于Package实现数据共享的诉求，下面我们来介绍下基于Package实现跨项目访问资源的具体操作，本文以共享自建udf函数为例。

开源的这一年，我们聊一聊。

物化视图智能推荐支持自动对用户历史作业进行分析，自动识别周期性作业，智能提取作业集合中的公共计算逻辑作为物化视图计算逻辑，最终转换为对用户友好的SQL文本形式，按照推荐程度排序展示给用户，并支持将物化视图使用效果可视化展现。

MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。

本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景，提供基于Delta Table的近实时增全量一体的数据存储和计算解决方案。