MaxCompute 消费预警与控制 | 学习笔记

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习 MaxCompute 消费预警与控制

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute  消费预警与控制】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1053


MaxCompute 消费预警与控制


内容简介:

一、MaxCompute 计费模式

二、消费控制(SQL按量,日累计)


一、MaxCompute 计费模式

包年包月,按量付费,包年包月+按量计费

为什么要消费预警与控制

包年包月

资源使用过满

资源被个别任务占满

某日提交作业量突增

按量付费

全表扫描

输入表数据量突增

某日提交按量作业数量突增

消费分析与自定义告警

如何分析详单数据?

如找到 topN 消费用户?

如何找到  topN  耗时任务?

如何定时推送分析报告?

如何统计个人账号资源使用情况?

文档链接:

详单分析

利用 information  schema  统计 topN  与发送定时报告

统计个人账号资源使用情况


二、消费控制(SQL按量,单SQL)

⒈环境准备

odps 客户端(链接)

project owner/super admin的ak

⒉单条 SQL  消费限制

阈值单位: SQL 读取量

(GB)×SQL  复杂度

日/月累计限制

单  sql,session  级,普通用户权限

odps@habai_test2>setodps.sql.metering.value.max=0.001;

odse habai _test2>select*from customer where c_ city like'%MROCCO%'limit 18;

ID= 2020122714251183gbiqjv21

Log view:

http://legview.edups.aliyun.com/logview/?be=http://service.aspx.aspx/apijg=has/beat&air  

2:19121<C--- ciLC3SZXNvdXJjZSI6WyJhY3M6b2Rwczeq0nByb2plY3RzL2hYmfpX3R1c3QyL3u  Job Queueing.

FAILED:Metering data exceed max value. Innut:0. 12837988,  Complexity :1.0, Max Vale:9. 001

单  sql,项目级,project owner/super admin  权限

odps@habai_test2>unsetodps.sql.metering.value.max; OK

odps@habai_test2> setproject _dps.sql.metering.value.max=0.0001; OK

odse habai _test2> selectfrom  customer where c_ city like‘4MOROCCOK'limit 10;

ID= 20201227142708135ggr68rsa

Log view:

http://logview.oops.aliyun.com/Iogview/?behttp://service.edus.aliyun.com/apidp=baby&test&air=aUZzZDd6T3kxCV

c4TVAPSxPRE9TX99CTgoxHTMwNTgADMxAzgMTBLDE2NE2WEQw[3 ℃/25℃/32℃州晴夏31℃/31℃/

30℃/28℃/29℃/2p>2p1℃/ 3RzL2hYmFk3 和9/23℃/21℃/8

FAILED:Metering data exceed max value. Imput:9. 1237968,  Complexity :1.0, Max Value:8. 083


消费控制(SQL按量,日累计

环境准备

odps  客户端(链接)

project owner/super admin  的  ak

单条  SQL  消费限制

日/月累计限制

延迟约5~10秒

当前累计+预估下一条

阈值单位:扫描数据量(GB)×复杂度×0.3

不要使用  limit 控制费用

很多情况  limit  都不能控制费用

select*from table_x where分区字段="常量/能推出的常量"limitxxx;//会产生计量

select*from(a sub query)a limit xxx;//SQL计量是按照读入数据量,而不是输出数据量

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
170 0
|
大数据 Linux 网络安全
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
306 0
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
Java 数据库连接 数据库
Java大数据开发工程师__Spring学习笔记(待更新)
Java大数据开发工程师__Spring学习笔记(待更新)
127 1
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
231 1
|
大数据 Linux 开发工具
大数据开发工程师基本功修炼之Linux学习笔记(三)
大数据开发工程师基本功修炼之Linux学习笔记(三)
146 0
|
大数据 Java Linux
大数据开发工程师基本功修炼之Linux学习笔记(二)
大数据开发工程师基本功修炼之Linux学习笔记(二)
188 0
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
224 0
|
大数据
大数据Azkaban失败任务预警
大数据Azkaban失败任务预警
447 0
|
canal 弹性计算 分布式计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
快速学习如何将 PolarDB-X 与大数据等系统互通
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)

热门文章

最新文章