MaxCompute资源管理——使用成本优化功能实现包年包月计算资源降本增效

简介: MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

概述

MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

典型场景一:包年包月计算资源闲置,计算成本高

某公司在数仓建设初期,公司预算充足,且为了确保凌晨一批重要作业在上午八点产出,购买了包年包月预留计算资源200CU供作业使用,每天有520个作业固定运行在这些资源上,每天作业都可以如期、甚至提前完成,但每月计算成本高达3万元。

最近公司给大数据部门下达了降本的OKR,部门领导很是头疼:一是不清楚降本后还能否满足重要作业的产出情况,二是无法确定最合适的降本方案。这时数据运维工程师小K向领导建言,他了解到MaxCompute推出了成本优化功能,马上打开MaxCompute控制台向领导展示了操作:

1.进入成本优化页面。

登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏,选择成本管理 > 成本优化

成本优化页面,选择包年包月一级Quota,呈现出每天所需CU预测值。image.png

小K看到这张CU请求预测,认为很符合现在的业务现状,每小时都有一批请求较少的作业发起,在每天05:00~08:00间有一批请求较多的作业发起。

2.设置评估时间点。
设置评估时间点区域,小K结合自身的业务流程,他决定设定05:0008:00为两个评估时间点。即在较为重要的那批作业发起前保证此前的作业可以于5点运行完毕,5点发起的那批作业可以于8点前运行完毕。

3.查看现状方案评估结果。
单击现状方案评估,查看当前资源配置情况下,作业产出情况。
image.png

通过CU消耗模拟图,小K看到,在当前的CU配置(预留CU=200)下,作业产出均没有延迟,但是也可以看到计算资源出现了明显的闲置情况,说明有较大的降本空间。

4.设置优化目标。
在评估的CU消耗模拟图下方,是设置优化目标区域,以表格的形式展现了设置的评估时间点的延迟现状,与模拟图展示一致。
image.png

小K看到优化目标一栏默认填写了评估时间点,这正是他所期望的作业完成时间,于是单击生成推荐方案

5.查看推荐方案。
优化效果依旧以CU消耗模拟的方式呈现,小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~08:00分别购买弹性预留50CU,重要作业预估仍然可以在08:00点前完成,而月计算成本仅需10260元,对比不现状方案每月可节省66.6%的费用。
image.png

领导看到这个方案非常满意,询问小K是否还有降本空间。小K想了想,或许可以允许作业延迟30分钟产出,也不会对业务造成较大影响,于是他进行了优化目标的调整。

6.调整优化目标。
返回设置优化目标区域,将评估时间点08:00点对应的优化目标设置为08:30image.png

7.重新查看推荐方案。
再次单击生成推荐方案小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~07:00分别购买弹性预留50CU,重要作业预估仍然可以在08:30前完成,计算成本降低为9330元,对比现状方案每月可节省70%的费用。image.png

8.逐步调整为推荐方案。
为了避免推荐方案实施后效果不稳定,部门开会后决定先不过度降本,先将预留CU整体下调至100,一段时间后重新进行评估,作业量没有明显上涨,系统仍推荐降配并叠加弹性预留CU,于是部门按照不延时的推荐方案进行配置,经过一段时间的试运行,重要作业几乎每天依然可以按时完成,也实现了计算成本的降低。


典型场景二:包年包月计算资源不足,作业完成时间不达预期

某公司在数仓建设初期购买了预留60CU的包年包月计算资源供作业使用,每天有520个作业固定运行在这些资源上,其中有一批较为重要的作业通常在凌晨五点陆续发起,业务侧希望在上午八点前运行完毕。随着业务拓展,作业的扫描数据量持续增加,工程师小K发现这批作业经常延迟完成,经过资源消耗发现是由于预留资源不足导致作业积压,但是他不确定如何调整资源既可以满足作业的完成需求,又不至于费用提升太多。这时他了解到MaxCompute推出了成本优化功能,马上打开MaxCompute控制台进行了操作:

1.进入成本优化页面。

登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏,选择成本管理 > 成本优化

成本优化页面,选择包年包月一级Quota,呈现出每天所需CU预测值。image.png

小K看到这张CU请求预测,认为很符合现在的业务现状,每小时都有一批请求较少的作业发起,在05:00~08:00间有一批请求较多的作业发起。

2.设置评估时间点。
设置评估时间点区域,小K结合自身的业务流程,他决定设定05:0008:00为两个评估时间点。即在较为重要的那批作业发起前保证此前的作业可以于5点运行完毕,5点发起的那批作业可以于8点前运行完毕。

3.查看现状方案评估结果。
单击现状方案评估,查看当前资源配置情况下,作业产出情况。
image.png

通过CU消耗模拟图,小K看到,在当前的CU配置(预留CU=60)下,05:00前提交的作业评估有3分钟延迟,05:00~08:00点间提交的较为重要的那批作业有高达48分钟的延迟,这与实际感受到的延迟时间相近。

4.设置优化目标。
在评估的CU消耗模拟图下方,是设置优化目标区域,以表格的形式展现了设置的评估时间点的延迟现状,与模拟图展示一致。
image.png

小K看到优化目标一栏默认填写了评估时间点,这正是他所期望的作业完成时间,于是单击生成推荐方案

5.查看推荐方案。
优化效果依旧以CU消耗模拟(推荐方案)的方式呈现,包含信息与现状评估图一致,小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~08:00分别购买弹性预留50CU,即可实现05:0008:00的作业延迟为0。而成本只比现有的方案增加了1260元/月。image.png

6.配置推荐方案。

小K认为这个推荐方案的预估成本上升是可以接受的,但是为了避免推荐方案实施后效果不稳定,他决定先不下调预留CU量,先只按照推荐方案配置弹性预留CU,观察一段时间。

a. 在MaxCompute管理控制台左侧导航栏,选择工作区 > 配额(Quota)管理

b. 在Quota管理页面,单击刚刚评估的一级Quota操作列的Quota配置

c. 在Quota配置页面的Quota计划页签,单击添加

d. 在新增Quota计划,将弹性预留CU设置为50后,单击确定

e. 依据推荐方案的时间配置如下Quota时间计划,详细操作请参见配置Quota

开始时间

启用Quota计划

00:00

Default

04:00

上一步骤新增的Quota计划。

05:00

Default

06:00

上一步骤新增的Quota计划。

08:00

Default

  1. (Default计划的弹性预留CU量为0。)

经过一段时间的试运行,小K发现重要作业几乎每天都可以按时完成,提升了研发效率,计算成本也未提升太多。


注意事项

本文所涉及的价格数据均为示例值,实际价格以产品购买页面为准。

上述典型案例的评估方式比较简单,在实际业务实施过程中,您需要综合多方面考虑,建议您依据实际情况逐渐变配至推荐方案,并关注变配后效果。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
3天前
|
分布式计算 监控 调度
给技术新人的ODPS优化建议
数据开发基本都是从陌生到熟悉,但是写多了就会发现各种好用的工具/函数,也会发现各种坑,本文分享了作者从拿到数据到数据开发到数据监控的一些实操经验。
|
5天前
|
SQL 分布式计算 资源调度
一文解析 ODPS SQL 任务优化方法原理
本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发,分析日常数据研发过程中各种优化方法背后的原理,覆盖了部分调优方法的分析,从知道怎么优化,到为什么这样优化,以及还能怎样优化。
|
5月前
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
193 0
|
2月前
|
存储 分布式计算 监控
MaxCompute问题之计算资源利用如何解决
MaxCompute资源指的是在MaxCompute项目中使用的计算资源和存储资源;本合集旨在向用户展示如何高效管理MaxCompute资源,包括资源包管理、配额调整和性能优化等方面。
28 0
|
3月前
|
缓存 Java 大数据
CDH大数据环境参数优化指南
CDH大数据环境参数优化指南
|
4月前
|
大数据
大数据复习课Day02_Mysql优化补充
大数据复习课Day02_Mysql优化补充
18 0
|
5月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute
37 1
|
5月前
|
jstorm 大数据 分布式数据库
大数据下的实时热点功能实现讨论(实时流的TopN)
我司内部有个基于jstorm的实时流编程框架,文档里有提到实时Topn,但是还没有实现。。。。这是一个挺常见挺重要的功能,但仔细想想实现起来确实有难度。实时流的TopN其实离大家很近,比如下图百度和微博的实时热搜榜,还有各种资讯类的实时热点,他们具体实现方式不清楚,甚至有可能是半小时离线跑出来的。今天不管他们怎么实现的,我们讨论下实时该怎么实现(基于storm)。
118 0
|
6月前
|
存储 缓存 算法
大数据框架中的Java虚拟机优化
大数据框架中的Java虚拟机优化

相关产品

  • 云原生大数据计算服务 MaxCompute