MaxCompute 消费预警与控制 | 学习笔记

简介: 快速学习 MaxCompute 消费预警与控制

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute  消费预警与控制】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1053


MaxCompute 消费预警与控制


内容简介:

一、MaxCompute 计费模式

二、消费控制(SQL按量,日累计)


一、MaxCompute 计费模式

包年包月,按量付费,包年包月+按量计费

为什么要消费预警与控制

包年包月

资源使用过满

资源被个别任务占满

某日提交作业量突增

按量付费

全表扫描

输入表数据量突增

某日提交按量作业数量突增

消费分析与自定义告警

如何分析详单数据?

如找到 topN 消费用户?

如何找到  topN  耗时任务?

如何定时推送分析报告?

如何统计个人账号资源使用情况?

文档链接:

详单分析

利用 information  schema  统计 topN  与发送定时报告

统计个人账号资源使用情况


二、消费控制(SQL按量,单SQL)

⒈环境准备

odps 客户端(链接)

project owner/super admin的ak

⒉单条 SQL  消费限制

阈值单位: SQL 读取量

(GB)×SQL  复杂度

日/月累计限制

单  sql,session  级,普通用户权限

odps@habai_test2>setodps.sql.metering.value.max=0.001;

odse habai _test2>select*from customer where c_ city like'%MROCCO%'limit 18;

ID= 2020122714251183gbiqjv21

Log view:

http://legview.edups.aliyun.com/logview/?be=http://service.aspx.aspx/apijg=has/beat&air  

2:19121<C--- ciLC3SZXNvdXJjZSI6WyJhY3M6b2Rwczeq0nByb2plY3RzL2hYmfpX3R1c3QyL3u  Job Queueing.

FAILED:Metering data exceed max value. Innut:0. 12837988,  Complexity :1.0, Max Vale:9. 001

单  sql,项目级,project owner/super admin  权限

odps@habai_test2>unsetodps.sql.metering.value.max; OK

odps@habai_test2> setproject _dps.sql.metering.value.max=0.0001; OK

odse habai _test2> selectfrom  customer where c_ city like‘4MOROCCOK'limit 10;

ID= 20201227142708135ggr68rsa

Log view:

http://logview.oops.aliyun.com/Iogview/?behttp://service.edus.aliyun.com/apidp=baby&test&air=aUZzZDd6T3kxCV

c4TVAPSxPRE9TX99CTgoxHTMwNTgADMxAzgMTBLDE2NE2WEQw[3 ℃/25℃/32℃州晴夏31℃/31℃/

30℃/28℃/29℃/2p>2p1℃/ 3RzL2hYmFk3 和9/23℃/21℃/8

FAILED:Metering data exceed max value. Imput:9. 1237968,  Complexity :1.0, Max Value:8. 083


消费控制(SQL按量,日累计

环境准备

odps  客户端(链接)

project owner/super admin  的  ak

单条  SQL  消费限制

日/月累计限制

延迟约5~10秒

当前累计+预估下一条

阈值单位:扫描数据量(GB)×复杂度×0.3

不要使用  limit 控制费用

很多情况  limit  都不能控制费用

select*from table_x where分区字段="常量/能推出的常量"limitxxx;//会产生计量

select*from(a sub query)a limit xxx;//SQL计量是按照读入数据量,而不是输出数据量

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
3天前
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
46 0
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
1431 0
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
3天前
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
112 1
|
6月前
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
|
存储 分布式计算 监控
大数据 SRE 体系能力建设(二)| 学习笔记
快速学习大数据 SRE 体系能力建设。
257 0
大数据 SRE 体系能力建设(二)| 学习笔记
|
传感器 大数据
大数据的学习笔记第一次学习
大数据的学习笔记 (一)
|
canal SQL 弹性计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记
快速学习如何将 PolarDB-X 与大数据等系统互通
270 0
如何将  PolarDB-X  与大数据等系统互通|学习笔记
|
存储 SQL 分布式计算
湖仓一体新能力解读| 学习笔记
快速学习湖仓一体新能力解读
418 0
湖仓一体新能力解读| 学习笔记
|
canal 弹性计算 分布式计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
快速学习如何将 PolarDB-X 与大数据等系统互通
223 0
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
|
SQL 分布式计算 DataWorks
Hadoop 数据如何同步至 MaxCompute | 学习笔记(三)
快速学习 Hadoop 数据如何同步至 MaxCompute
201 0
Hadoop 数据如何同步至 MaxCompute | 学习笔记(三)

热门文章

最新文章