海清_个人页

个人头像照片 海清
个人头像照片 个人头像照片
40
1
0

个人介绍

阿里云数加培训讲师, 最擅长MaxCompute、大数据开发套件。

擅长的技术

  • Java
  • Python
  • Linux
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明

2023年09月

  • 09.19 10:19:27
    发表了文章 2023-09-19 10:19:27

    MaxCompute元数据使用实践 -- 数据下载审计

    通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息,方便您进行数据流转的审计排查。
  • 09.14 10:28:12
    发表了文章 2023-09-14 10:28:12

    MaxCompute元数据使用实践--项目信息统计

    MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。

2023年08月

  • 08.16 19:16:27
    发表了文章 2023-08-16 19:16:27

    MaxCompute - ODPS重装上阵 第十二弹 - PIVOT/UNPIVOT

    MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。
  • 08.07 19:13:12
    发表了文章 2023-08-07 19:13:12

    MaxCompute - ODPS重装上阵 第十一弹 -QUALIFY

    MaxCompute支持QUALIFY语法过滤Window函数的结果,使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

2023年07月

  • 07.28 13:56:33
    发表了文章 2023-07-28 13:56:33

    MaxCompute - ODPS重装上阵 第十弹 -IF ELSE分支语句

    MaxCompute通过脚本模式支持IF ELSE分支语句,让程序根据条件自动选择执行逻辑,支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL,提高开发者编程的灵活性!

2021年03月

2021年01月

  • 01.19 10:19:52
    发表了文章 2021-01-19 10:19:52

    MaxCompute消费监控最佳实践

    MaxCompute计费方式有按量计费和包年包月,其中按量计费若使用不当,比较容易出现预料之外的高额消费产生,本文将结合阿里云提供的相关消费监控以及MaxCompute本身的消费监控/限制功能,介绍如何更好的进行MaxCompute按量计费消费监控和限制,更大程度的避免出现不必要的消费。

2020年09月

  • 09.25 14:19:59
    发表了文章 2020-09-25 14:19:59

    【转载】MaxCompute full outer join改写left anti join实践

    ods层数据同步时经常会遇到增全量合并的模型,即T-1天增量表 + T-2全量表 = T-1全量表。可以通过full outer join脚本来完成合并,但是数据量很大时非常消耗资源。本文将为您介绍在做增量数据的增加、更新时如何通过full outer join改写left anti join来实现的最佳实践。
  • 09.03 10:32:34
    发表了文章 2020-09-03 10:32:34

    持续定义Saas模式云数据仓库+BI

    简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

2020年08月

  • 08.31 10:21:10
    发表了文章 2020-08-31 10:21:10

    MaxCompute资源管理—— 包年包月资源组隔离

    使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

2020年07月

  • 07.27 23:51:00
    发表了文章 2020-07-27 23:51:00

    MaxCompute资源管理—— 包年包月资源分时

    2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

2020年03月

2020年02月

  • 02.11 14:46:30
    发表了文章 2020-02-11 14:46:30

    MaxCompute项目子账号做超级管理员

    MaxCompute的admin role可以进行比较基础的权限管理,本文主要介绍可以替代project owner进行project管理的超级管理员角色——super_administrator role,以及作为超级管理员日常管理工作中的一些建议。

2020年01月

  • 01.14 10:27:34
    发表了文章 2020-01-14 10:27:34

    MaxCompute - ODPS重装上阵 第八弹 - 动态类型函数

    MaxCompute自定义函数的参数和返回值不够灵活,是数据开发过程中时常被提及的问题。Hive 提供给了 GenericUDF 的方式,通过调用一段用户代码,让用户来根据参数类型决定返回值类型。MaxCompute 出于性能、安全性等考虑,没有支持这种方式。

2019年11月

2019年07月

  • 07.03 14:22:28
    发表了文章 2019-07-03 14:22:28

    MaxCompute 项目子账号做权限管理

    场景: 一个企业使用多款阿里云产品,MaxCompute是其中一个产品,用的是同个主账号,主账号不是由使用MaxCompute的大数据同学管理,  大数据同学使用的是子账号。大数据同学日常需要给MaxCompute项目 操作新增子账号(add  user),新的子账号授权(grant xx on project/table)等操作,即日常权限管理。

2019年06月

  • 06.26 15:27:01
    发表了文章 2019-06-26 15:27:01

    MaxCompute 费用暴涨之新增SQL分区裁剪失败

    现象:因业务需求新增了SQL任务,这SQL扫描的表为分区表,且SQL条件里表只指定了一个分区,按指定的分区来看数据量并不大,但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨,但是没明确是什么任务暴涨,可以可以参考查看账单详情-使用记录文档,找出费用异常的记录。
  • 06.25 19:28:41
    发表了文章 2019-06-25 19:28:41

    MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大

    现象:同样的SQL,每天处理的数据行数差不多,但是费用突然暴涨甚至会翻数倍。 分析: 我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。
  • 发表了文章 2023-09-19

    MaxCompute元数据使用实践 -- 数据下载审计

  • 发表了文章 2023-09-14

    MaxCompute元数据使用实践--项目信息统计

  • 发表了文章 2023-08-16

    MaxCompute - ODPS重装上阵 第十二弹 - PIVOT/UNPIVOT

  • 发表了文章 2023-08-07

    MaxCompute - ODPS重装上阵 第十一弹 -QUALIFY

  • 发表了文章 2023-07-28

    MaxCompute - ODPS重装上阵 第十弹 -IF ELSE分支语句

  • 发表了文章 2021-03-18

    MaxCompute作业日常监控与运维实践

  • 发表了文章 2021-01-19

    MaxCompute消费监控最佳实践

  • 发表了文章 2020-09-25

    【转载】MaxCompute full outer join改写left anti join实践

  • 发表了文章 2020-09-03

    持续定义Saas模式云数据仓库+BI

  • 发表了文章 2020-08-31

    MaxCompute资源管理—— 包年包月资源组隔离

  • 发表了文章 2020-07-27

    MaxCompute资源管理—— 包年包月资源分时

  • 发表了文章 2020-03-09

    MaxCompute - ODPS重装上阵 第九弹 - 脚本模式与参数视图

  • 发表了文章 2020-02-11

    MaxCompute项目子账号做超级管理员

  • 发表了文章 2020-01-14

    MaxCompute - ODPS重装上阵 第八弹 - 动态类型函数

  • 发表了文章 2019-12-31

    MaxCompute - ODPS重装上阵 第七弹 - Grouping Set, Cube and Rollup

  • 发表了文章 2019-12-13

    MaxCompute - ODPS重装上阵 第六弹 - User Defined Type

  • 发表了文章 2019-11-25

    MaxCompute按量计费计算任务消费监控告警

  • 发表了文章 2019-07-03

    MaxCompute 项目子账号做权限管理

  • 发表了文章 2019-06-26

    MaxCompute 费用暴涨之新增SQL分区裁剪失败

  • 发表了文章 2019-06-25

    MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息