海清_个人页

2024年05月

• 12.12 13:49:41
  发表了文章 2023-12-12 13:49:41

  MaxCompute元数据使用实践--数据权限统计

  本文主要介绍通过元数据的相关权限的视图进行数据权限的统计。

2023年12月

• 11.27 10:44:26
  发表了文章 2023-11-27 10:44:26

  MaxCompute 重装上阵，Global Zorder

  MaxCompute支持Global Zorder，使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序，以便数据能有更好的聚集性。

2023年10月

• 10.18 12:02:09
  发表了文章 2023-10-18 12:02:09

  MaxCompute元数据使用实践--作业统计

  通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图可以统计查看MaxCompute计算作业的元数据信息，方便您进行作业审计以及各类统计，指导作业性能、成本优化。

2023年09月

• 09.19 10:19:27
  发表了文章 2023-09-19 10:19:27

  MaxCompute元数据使用实践 -- 数据下载审计

  通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息，方便您进行数据流转的审计排查。
• 09.14 10:28:12
  发表了文章 2023-09-14 10:28:12

  MaxCompute元数据使用实践--项目信息统计

  MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析。

2023年08月

• 08.16 19:16:27
  发表了文章 2023-08-16 19:16:27

  MaxCompute ODPS重装上阵：PIVOT/UNPIVOT

  MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。

  
• 08.07 19:13:12
  发表了文章 2023-08-07 19:13:12

  MaxCompute ODPS 重装上阵，QUALIFY

  MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

2023年07月

• 07.28 13:56:33
  发表了文章 2023-07-28 13:56:33

  MaxCompute ODPS重装上阵， IF ELSE分支语句

  MaxCompute通过脚本模式支持IF ELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！

2021年03月

• 03.18 19:01:51
  发表了文章 2021-03-18 19:01:51

  MaxCompute作业日常监控与运维实践

  MaxCompute作业日常监控与运维实践

  

2021年01月

• 01.19 10:19:52
  发表了文章 2021-01-19 10:19:52

  MaxCompute消费监控最佳实践

  MaxCompute计费方式有按量计费和包年包月，其中按量计费若使用不当，比较容易出现预料之外的高额消费产生，本文将结合阿里云提供的相关消费监控以及MaxCompute本身的消费监控/限制功能，介绍如何更好的进行MaxCompute按量计费消费监控和限制，更大程度的避免出现不必要的消费。

  

2020年09月

• 09.25 14:19:59
  发表了文章 2020-09-25 14:19:59

  【转载】MaxCompute full outer join改写left anti join实践

  ods层数据同步时经常会遇到增全量合并的模型，即T-1天增量表 + T-2全量表 = T-1全量表。可以通过full outer join脚本来完成合并，但是数据量很大时非常消耗资源。本文将为您介绍在做增量数据的增加、更新时如何通过full outer join改写left anti join来实现的最佳实践。

  
• 09.03 10:32:34
  发表了文章 2020-09-03 10:32:34

  持续定义Saas模式云数据仓库+BI

  简介：阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述，BI使用场景与趋势，基于MaxCompute云数仓+BI的特性，以及实践案例。

  

2020年08月

• 08.31 10:21:10
  发表了文章 2020-08-31 10:21:10

  MaxCompute资源管理—— 包年包月资源组隔离

  使用基于MaxCompute云数据仓库的企业，由于业务的差异，会创建多project进行数据隔离。同时也因为业务的差异，每个project需要跑的任务量、业务紧急程度等也有差异，因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

  

2020年07月

• 07.27 23:51:00
  发表了文章 2020-07-27 23:51:00

  MaxCompute资源管理—— 包年包月资源分时

  2020年7月23日开始，MaxCompute 管家陆续对各个区域进行升级新版本，新版本支持的功能之一——分时配额，将支持对预留计算资源（预留CU）进行按时段切分，满足时段的差异化资源需求，满足对资源隔离（生产/开发/自助分析）不同工作负载的能力，避免相互干扰，同时更大化提高资源使用率。

  

2020年03月

• 03.09 16:47:55
  发表了文章 2020-03-09 16:47:55

  MaxCompute - ODPS重装上阵 第九弹 - 脚本模式与参数视图

  MaxCompute提供了新的脚本模式与参数化视图，可以明显提高开发者的编程效率，提高代码的可重用性，与此同时，也提高了性能！

  

2020年02月

• 02.11 14:46:30
  发表了文章 2020-02-11 14:46:30

  MaxCompute项目子账号做超级管理员

  MaxCompute的admin role可以进行比较基础的权限管理，本文主要介绍可以替代project owner进行project管理的超级管理员角色——super_administrator role，以及作为超级管理员日常管理工作中的一些建议。

  

2020年01月

• 01.14 10:27:34
  发表了文章 2020-01-14 10:27:34

  MaxCompute - ODPS重装上阵　第八弹 - 动态类型函数

  MaxCompute自定义函数的参数和返回值不够灵活，是数据开发过程中时常被提及的问题。Hive 提供给了 GenericUDF 的方式，通过调用一段用户代码，让用户来根据参数类型决定返回值类型。MaxCompute 出于性能、安全性等考虑，没有支持这种方式。

  

2019年11月

• 11.25 19:42:44
  发表了文章 2019-11-25 19:42:44

  MaxCompute按量计费计算任务消费监控告警

  如何通过云监控配置MaxCompute按量计费计算任务消费监控告警

2019年07月

• 07.03 14:22:28
  发表了文章 2019-07-03 14:22:28

  MaxCompute 项目子账号做权限管理

  场景： 一个企业使用多款阿里云产品，MaxCompute是其中一个产品，用的是同个主账号，主账号不是由使用MaxCompute的大数据同学管理，  大数据同学使用的是子账号。大数据同学日常需要给MaxCompute项目 操作新增子账号（add  user），新的子账号授权（grant xx on project/table）等操作，即日常权限管理。

2019年06月

• 06.26 15:27:01
  发表了文章 2019-06-26 15:27:01

  MaxCompute 费用暴涨之新增SQL分区裁剪失败

  现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。
• 06.25 19:28:41
  发表了文章 2019-06-25 19:28:41

  MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大

  现象：同样的SQL，每天处理的数据行数差不多，但是费用突然暴涨甚至会翻数倍。 分析： 我们先明确MaxCompute SQL后付费的计费公式：一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(￥/GB)。