大数据计算 MaxCompute

2024年云栖大会上，阿里云核心自研云原生智能数据仓库产品MaxCompute，在经过一年的深度打磨后，推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布，充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

随着阿里云MaxCompute4.0的产品新版本发布，越来越多的MaxCompute产品新能力被客户广泛关注，包括近实时查询/湖仓一体&开放架构/容灾备份等。在此我们对外整体介绍一下MaxCompute FY25-Q1产品新功能，帮助更多用户借此了解MaxCompute4.0云原生数仓新版本的重点产品特性，核心竞争力与典型用户场景等信息。

本文根据2023云栖大会演讲实录整理而成，演讲信息如下 演讲人：张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题：MaxCompute架构升级及开放性解读 活动：2023云栖大会

本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：刘一鸣 | 阿里云自研大数据产品负责人 演讲主题：Data+AI时代大数据平台应该如何建设

DataWorks标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表或者跨项目空间访问其他项目空间的表，需要根据projectA.tablename命名规范严格区分数据库表名，避免误操作生产环境。 开发环境SQL任务中需要使用【开发环境空间.表名】来使用表，发布到生产环境时，需要手动把开发环境空间改成生产环境空间名称才能发布。本文针对此类场景实现在DataWorks能够自动识别任务在开发环境使用开发环境的名称，在生产环境使用生产环境的名称。

本文主要讲述hash cluster表的一些运用。

本文主要介绍什么是五话题以及MaxCompute 发布的“物化视图智能推荐”具体内容。

最新在项目中进行存储优化的一个事情，于是就又把拉链表抬出来了。

本文将介绍阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

MaxCompute通过脚本模式支持IF ELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！

MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

在大数据不断在追求计算效率和成本优化的背景下，阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版，用户可选择用此版本完成时间不敏感的作业，从而降低计算成本，同等作业类型的计算费用与按量付费标准版相比，最高可实现66.66%的计算成本优化。

MaxCompute新增Transaction Table2.0（下文简称事务表2.0)表类型在2023年6月27日开始邀测，支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。

MaxCompute提供成本优化（计算资源优化推荐）功能，可基于实际作业请求量和资源配置期望，对包年包月一级Quota类型的计算资源生成更优的资源配置方案，帮助进一步提升计算资源利用率，优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化（计算资源优化推荐）功能提供降本增效的参考建议。

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析。

MaxCompute支持Global Zorder，使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序，以便数据能有更好的聚集性。

本文主要介绍通过元数据的相关权限的视图进行数据权限的统计。

阿里云 MaxCompute MaxFrame 正式开启邀测，统一 Python 开发生态，打破大数据及 AI 开发使用边界。

一，背景与概述    复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。

数据开发基本都是从陌生到熟悉，但是写多了就会发现各种好用的工具/函数，也会发现各种坑，本文分享了作者从拿到数据到数据开发到数据监控的一些实操经验。

本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发，分析日常数据研发过程中各种优化方法背后的原理，覆盖了部分调优方法的分析，从知道怎么优化，到为什么这样优化，以及还能怎样优化。

阿里云分布式计算框架 MaxCompute MaxFrame 兼容 Pandas 接口且自动进行分布式处理，在保证强大数据处理能力的同时，可以大幅度提高数据处理规模及计算效率。

近日，阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构（Serverless）大数据平台测试。

本文将为大家带来MaxCompute与人力家客户案例深度解读。

通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图可以统计查看MaxCompute计算作业的元数据信息，方便您进行作业审计以及各类统计，指导作业性能、成本优化。