海清
海清_个人页
海清
文章
43
问答
1
视频
0
个人介绍
擅长MaxCompute、大数据开发套件。
擅长的技术
-
发表了文章 2023-12-12
MaxCompute元数据使用实践--数据权限统计
本文主要介绍通过元数据的相关权限的视图进行数据权限的统计。
-
发表了文章 2023-11-27
MaxCompute 重装上阵，Global Zorder
MaxCompute支持Global Zorder，使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序，以便数据能有更好的聚集性。
-
发表了文章 2023-10-18
MaxCompute元数据使用实践--作业统计
通过MaxCompute租户级别Information Schema的“TASKS_HISTORY”视图可以统计查看MaxCompute计算作业的元数据信息，方便您进行作业审计以及各类统计，指导作业性能、成本优化。
-
发表了文章 2023-09-19
MaxCompute元数据使用实践 -- 数据下载审计
通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息，方便您进行数据流转的审计排查。
-
发表了文章 2023-09-14
MaxCompute元数据使用实践--项目信息统计
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析。
-
发表了文章 2023-08-16
MaxCompute ODPS重装上阵：PIVOT/UNPIVOT
MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。
-
发表了文章 2023-08-07
MaxCompute ODPS 重装上阵，QUALIFY
MaxCompute支持QUALIFY语法过滤Window函数的结果，使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。
-
发表了文章 2023-07-28
MaxCompute ODPS重装上阵， IF ELSE分支语句
MaxCompute通过脚本模式支持IF ELSE分支语句，让程序根据条件自动选择执行逻辑，支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL，提高开发者编程的灵活性！
-
发表了文章 2021-03-18
MaxCompute作业日常监控与运维实践
MaxCompute作业日常监控与运维实践
-
发表了文章 2021-01-19
MaxCompute消费监控最佳实践
MaxCompute计费方式有按量计费和包年包月，其中按量计费若使用不当，比较容易出现预料之外的高额消费产生，本文将结合阿里云提供的相关消费监控以及MaxCompute本身的消费监控/限制功能，介绍如何更好的进行MaxCompute按量计费消费监控和限制，更大程度的避免出现不必要的消费。
-
发表了文章 2020-09-25
【转载】MaxCompute full outer join改写left anti join实践
ods层数据同步时经常会遇到增全量合并的模型，即T-1天增量表 + T-2全量表 = T-1全量表。可以通过full outer join脚本来完成合并，但是数据量很大时非常消耗资源。本文将为您介绍在做增量数据的增加、更新时如何通过full outer join改写left anti join来实现的最佳实践。
-
发表了文章 2020-09-03
持续定义Saas模式云数据仓库+BI
简介：阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述，BI使用场景与趋势，基于MaxCompute云数仓+BI的特性，以及实践案例。
-
发表了文章 2020-08-31
MaxCompute资源管理—— 包年包月资源组隔离
使用基于MaxCompute云数据仓库的企业，由于业务的差异，会创建多project进行数据隔离。同时也因为业务的差异，每个project需要跑的任务量、业务紧急程度等也有差异，因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。
-
发表了文章 2020-07-27
MaxCompute资源管理—— 包年包月资源分时
2020年7月23日开始，MaxCompute 管家陆续对各个区域进行升级新版本，新版本支持的功能之一——分时配额，将支持对预留计算资源（预留CU）进行按时段切分，满足时段的差异化资源需求，满足对资源隔离（生产/开发/自助分析）不同工作负载的能力，避免相互干扰，同时更大化提高资源使用率。
-
发表了文章 2020-03-09
MaxCompute - ODPS重装上阵 第九弹 - 脚本模式与参数视图
MaxCompute提供了新的脚本模式与参数化视图，可以明显提高开发者的编程效率，提高代码的可重用性，与此同时，也提高了性能！
-
发表了文章 2020-02-11
MaxCompute项目子账号做超级管理员
MaxCompute的admin role可以进行比较基础的权限管理，本文主要介绍可以替代project owner进行project管理的超级管理员角色——super_administrator role，以及作为超级管理员日常管理工作中的一些建议。
-
发表了文章 2020-01-14
MaxCompute - ODPS重装上阵 第八弹 - 动态类型函数
MaxCompute自定义函数的参数和返回值不够灵活，是数据开发过程中时常被提及的问题。Hive 提供给了 GenericUDF 的方式，通过调用一段用户代码，让用户来根据参数类型决定返回值类型。MaxCompute 出于性能、安全性等考虑，没有支持这种方式。
-
发表了文章 2019-12-31
MaxCompute - ODPS重装上阵 第七弹 - Grouping Set, Cube and Rollup
MaxCompute中的GROUPING SETS功能是SELECT语句中GROUP BY子句的扩展。允许采用多种方式对结果分组，而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更有的执行计划，从而提高执行性能。
-
发表了文章 2019-12-13
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。
-
发表了文章 2019-11-25
MaxCompute按量计费计算任务消费监控告警
如何通过云监控配置MaxCompute按量计费计算任务消费监控告警
-
发表了文章 2019-07-03
MaxCompute 项目子账号做权限管理
场景： 一个企业使用多款阿里云产品，MaxCompute是其中一个产品，用的是同个主账号，主账号不是由使用MaxCompute的大数据同学管理， 大数据同学使用的是子账号。大数据同学日常需要给MaxCompute项目 操作新增子账号（add user），新的子账号授权（grant xx on project/table）等操作，即日常权限管理。
-
发表了文章 2019-06-26
MaxCompute 费用暴涨之新增SQL分区裁剪失败
现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。
-
发表了文章 2019-06-25
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大
现象：同样的SQL，每天处理的数据行数差不多，但是费用突然暴涨甚至会翻数倍。 分析： 我们先明确MaxCompute SQL后付费的计费公式：一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(￥/GB)。
-
发表了文章 2019-06-17
MaxCompute预付费套餐(计算资源+存储资源)发布
信息摘要： MaxCompute的预付费新增套餐规格类型，购买套餐即包含计算资源和存储资源。适用客户： 适用于使用MaxCompute包年包月资源，同时存储量比较大的企业大数据开发用户，通过套餐使用可以更大降低成本，如： 原来每日存储量达150TB，计算资源用量150CU，按每天平均存储150TB算一个月30天，存储和计算资源的费用大概50000￥。
-
发表了文章 2019-05-24
MaxCompute 预付费标准版VS套餐版
MaxCompute 于5月7日正式售卖预付费（包年包月）套餐资源，主打存储密集型套餐，一共三个套餐： 存储密集型160套餐 存储密集型320套餐 存储密集型600套餐 本文主要给大家介绍预付标准版和套餐版的资源、售价以及两者对比的情况，以供大家选购时进行参考。
-
发表了文章 2019-05-17
MaxCompute预付费套餐(计算资源+存储资源)发布
信息摘要： MaxCompute的预付费新增套餐规格类型，购买套餐即包含计算资源和存储资源。适用客户： 适用于使用MaxCompute包年包月资源，同时存储量比较大的企业大数据开发用户，通过套餐使用可以更大降低成本，如： 原来每日存储量达150TB，计算资源用量150CU，按每天平均存储150TB算一个月30天，存储和计算资源的费用大概50000￥。
-
发表了文章 2019-05-08
MaxCompute Studio使用心得系列7——作业对比
在数据开发过程中，我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题，但是对比作业时需要同时打开两个studio 的tab页，或者两个Logview页，不停切换进行对比，使用起来非常的不方便。
-
发表了文章 2019-04-11
基于MaxCompute的数仓数据质量管理
数据对一个企业来说已经是一项重要的资产，既然是资产，肯定需要管理。随着业务的增加，数据的应用越来越多，企业在创建的数仓过程中对数据的管理也提出了更高的要求，而数据质量也是数仓建设过程不容忽视的环节。本文针对MaxCompute数仓建设过程中如何做数据质量给出规范建议，为实际数据治理提供依据及指导。
-
发表了文章 2019-04-08
MaxCompute SQL 使用正则表达式选列
编辑MaxCompute SQL 时，经常会需要在某个表N个列中指定一些列。若需要指定的列比较少，编写SQL时一个个输入既可。当遇到列多的时候，一个个输入就会非常费劲。本文将介绍如何在编写MaxCompute SQL时通过正则表达式表达列（column），从而提升编码效率。
-
发表了文章 2019-01-14
MaxCompute安全管理指南-案例篇
通过《MaxCompute安全管理-基础篇》了解到MaxCompute和DataWorks的相关安全模型、两个产品安全方面的关联，以及各种安全操作后，本篇主要给出一些安全管理案例，给安全管理的成员作为参考。
-
发表了文章 2019-01-14
MaxCompute安全管理指南-基础篇
背景及目的 方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维，保障数据安全。 MaxCompute有安全模型，DataWorks也有安全模型，当通过DataWorks使用MaxCompute，而DataWorks的安全模型不满足业务安全需求时，合理的将两个安全模型结合使用就尤其重要。
-
发表了文章 2017-12-21
MaxCompute Studio使用心得系列6——一个工具完成整个Python UDF开发
2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF，万众期待的功能终于支持啦，我怎么能不一试为快，今天就分享如何通过Studio进行Python udf开发。
-
发表了文章 2017-12-12
MaxCompute Studio 2.8.2 新版本发布啦！
MaxCompute Studio 2.8.2 新版本，主要新增可视化建表、保存/查看历史job日志、查看历史执行sql脚本，重点优化Editor性能解决大脚本文件实时编译卡顿问题等等~
-
发表了文章 2017-12-06
MaxCompute Studio使用心得系列5——一个工具完成整个JAVA UDF开发
一个JAVA UDF要想发布到MaxCompute服务端供生产使用，要经历JAVA相关工具编码、打包 -> 上传 -> 注册几个步骤，跨至少2个工具（平台）。对此，通过MaxCOmpute Studio工具，从环境准备到JAVA代码开发、调试、打jar包/添加MaxCompute resource/注册函数整个过程一气呵成。
-
发表了文章 2017-11-14
MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况
“通过`show p -all;`命令查看所有执行过的job，再通过`wait instanceid;`查看这个job的logview，最后通过logview再查看具体的执行日志。” 这样的方式查看所有job并分析运行情况实在太麻烦，MaxCompute Studio已经可以轻松完成了。
-
发表了文章 2017-11-09
MaxCompute Studio使用心得系列3——可视化分析作业运行
我们很熟悉的是通过Logview 去分析作业的执行情况，logview上有很详细的执行日志，而Studio不仅仅提供可视化的信息，还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。
-
发表了文章 2017-10-30
MaxCompute Studio使用心得系列2——编译SQL脚本
Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能，每次需要执行SQL脚本，只能提交执行后若有语法错误，执行结果失败返回失败信息才发现，影响开发效率又浪费资源。今天我就来分享在MaxCompute SQL提交运行前就可以进行脚本编译的方法。
-
发表了文章 2017-10-26
MaxCompute Studio使用心得系列1——本地数据上传下载
通过MaxCompute Studio工具界面，轻松完成tunnel命令能完成的本地数据导入导出工作。打破大数据开发套件中本地数据文件导入10M的限制，和打破下载只能下载查询结果最多10000行的限制。
-
发表了文章 2017-09-01
阿里云大数据计算服务MaxCompute（原ODPS）华南1（深圳）Region即将开服！
2017年9月7日，阿里云数加·MaxCompute（原ODPS）华南1（深圳）数据中心正式开服售卖，这是数加·MaxCompute在国内开服的第二个区域。届时MaxCompute将会针对新服开展促销活动，具体活动规则敬请期待！
-
发表了文章 2017-07-05
MaxCompute分区表和非分区表使用对比
本文我们将通过对有同样数据量、表结构除分区列其他都一模一样的表,从查询计算、写入、删除数据几个简单操作进行对比，了解MaxCompute分区表和非分区表在使用上有什么差异。 在介绍之前，需要大家先了解MaxCompute分区的概念。
-
发表了文章 2017-06-15
【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态
数加·大数据开发套件目前支持任务调度周期有五种：天、周、月、分钟、小时。本文将介绍这五种周期的配置和调度形态。 调度规则——调度任务是否能运行起来要满足的条件： 上游任务实例是否都运行成功。若所有上游任务实例都运行成功则触发任务进入等待时间状态。
-
发表了文章 2017-06-14
【大数据开发套件调度配置实践】——不同周期任务依赖配置
大数据开发过程中常遇到不同运行周期的任务进行依赖，常见**天任务依赖小时任务**、**小时任务依赖分钟任务**。那么如何通过大数据开发套件开发这两种场景呢？ 本文将从这两个场景出发，结合调度依赖/参数/调度执行等，介绍不同周期调度依赖的最佳操作实践。
-
发表了文章 2017-06-09
数据库工程师快速上手MaxCompute进行ETL
案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者，特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发，简单了解在MaxCompute做大数据ETL过程，同时了解一些MaxCompute SQL和常用数据库SQL的基本区别。
暂无更多信息
-
发表了文章
2024-05-15
MaxCompute元数据使用实践--数据权限统计
-
发表了文章
2023-12-01
MaxCompute 重装上阵，Global Zorder
-
发表了文章
2023-10-18
MaxCompute元数据使用实践--作业统计
-
发表了文章
2023-09-19
MaxCompute元数据使用实践 -- 数据下载审计
-
发表了文章
2023-09-14
MaxCompute元数据使用实践--项目信息统计
-
发表了文章
2023-08-16
MaxCompute ODPS重装上阵：PIVOT/UNPIVOT
-
发表了文章
2023-08-07
MaxCompute ODPS 重装上阵，QUALIFY
-
发表了文章
2023-07-28
MaxCompute ODPS重装上阵， IF ELSE分支语句
-
发表了文章
2021-03-18
MaxCompute作业日常监控与运维实践
-
发表了文章
2021-01-19
MaxCompute消费监控最佳实践
-
发表了文章
2020-09-25
【转载】MaxCompute full outer join改写left anti join实践
-
发表了文章
2020-09-03
持续定义Saas模式云数据仓库+BI
-
发表了文章
2020-08-31
MaxCompute资源管理—— 包年包月资源组隔离
-
发表了文章
2020-07-27
MaxCompute资源管理—— 包年包月资源分时
-
发表了文章
2020-03-09
MaxCompute - ODPS重装上阵 第九弹 - 脚本模式与参数视图
-
发表了文章
2020-02-11
MaxCompute项目子账号做超级管理员
-
发表了文章
2020-01-14
MaxCompute - ODPS重装上阵 第八弹 - 动态类型函数
-
发表了文章
2019-12-31
MaxCompute - ODPS重装上阵 第七弹 - Grouping Set, Cube and Rollup
-
发表了文章
2019-12-13
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
-
发表了文章
2019-11-25
MaxCompute按量计费计算任务消费监控告警
滑动查看更多
-
回答了问题
2019-07-17
萌新求助，提示MaxCompute project is not怎么解决
需要配置好MaxCompute项目链接，可以参考：https://help.aliyun.com/document_detail/50855.html?spm=5176.doc34614.6.714.TN2kcT赞0 踩0 评论0
滑动查看更多
暂无更多信息