开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课:MaxCompute 消费预警与控制】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/55/detail/1053
MaxCompute 消费预警与控制
内容简介:
一、MaxCompute 计费模式
二、消费控制(SQL按量,日累计)
一、MaxCompute 计费模式
包年包月,按量付费,包年包月+按量计费
为什么要消费预警与控制
包年包月
资源使用过满
资源被个别任务占满
某日提交作业量突增
按量付费
全表扫描
输入表数据量突增
某日提交按量作业数量突增
消费分析与自定义告警
如何分析详单数据?
如找到 topN 消费用户?
如何找到 topN 耗时任务?
如何定时推送分析报告?
如何统计个人账号资源使用情况?
文档链接:
详单分析
利用 information schema 统计 topN 与发送定时报告
统计个人账号资源使用情况
二、消费控制(SQL按量,单SQL)
⒈环境准备
odps 客户端(链接)
project owner/super admin的ak
⒉单条 SQL 消费限制
阈值单位: SQL 读取量
(GB)×SQL 复杂度
日/月累计限制
单 sql,session 级,普通用户权限
odps@habai_test2>setodps.sql.metering.value.max=0.001;
odse habai _test2>select*from customer where c_ city like'%MROCCO%'limit 18;
ID= 2020122714251183gbiqjv21
Log view:
http://legview.edups.aliyun.com/logview/?be=http://service.aspx.aspx/apijg=has/beat&air
2:19121<C--- ciLC3SZXNvdXJjZSI6WyJhY3M6b2Rwczeq0nByb2plY3RzL2hYmfpX3R1c3QyL3u Job Queueing.
FAILED:Metering data exceed max value. Innut:0. 12837988, Complexity :1.0, Max Vale:9. 001
单 sql,项目级,project owner/super admin 权限
odps@habai_test2>unsetodps.sql.metering.value.max; OK
odps@habai_test2> setproject _dps.sql.metering.value.max=0.0001; OK
odse habai _test2> selectfrom customer where c_ city like‘4MOROCCOK'limit 10;
ID= 20201227142708135ggr68rsa
Log view:
c4TVAPSxPRE9TX99CTgoxHTMwNTgADMxAzgMTBLDE2NE2WEQw[3 ℃/25℃/32℃州晴夏31℃/31℃/
30℃/28℃/29℃/2p>2p1℃/ 3RzL2hYmFk3 和9/23℃/21℃/8
FAILED:Metering data exceed max value. Imput:9. 1237968, Complexity :1.0, Max Value:8. 083
消费控制(SQL按量,日累计)
环境准备
odps 客户端(链接)
project owner/super admin 的 ak
单条 SQL 消费限制
日/月累计限制
延迟约5~10秒
当前累计+预估下一条
阈值单位:扫描数据量(GB)×复杂度×0.3
不要使用 limit 控制费用
很多情况 limit 都不能控制费用
select*from table_x where分区字段="常量/能推出的常量"limitxxx;//会产生计量
select*from(a sub query)a limit xxx;//SQL计量是按照读入数据量,而不是输出数据量