MaxCompute资源管理——使用成本优化功能实现包年包月计算资源降本增效

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

概述

MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

典型场景一:包年包月计算资源闲置,计算成本高

某公司在数仓建设初期,公司预算充足,且为了确保凌晨一批重要作业在上午八点产出,购买了包年包月预留计算资源200CU供作业使用,每天有520个作业固定运行在这些资源上,每天作业都可以如期、甚至提前完成,但每月计算成本高达3万元。

最近公司给大数据部门下达了降本的OKR,部门领导很是头疼:一是不清楚降本后还能否满足重要作业的产出情况,二是无法确定最合适的降本方案。这时数据运维工程师小K向领导建言,他了解到MaxCompute推出了成本优化功能,马上打开MaxCompute控制台向领导展示了操作:

1.进入成本优化页面。

登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏,选择成本管理 > 成本优化

成本优化页面,选择包年包月一级Quota,呈现出每天所需CU预测值。image.png

小K看到这张CU请求预测,认为很符合现在的业务现状,每小时都有一批请求较少的作业发起,在每天05:00~08:00间有一批请求较多的作业发起。

2.设置评估时间点。
设置评估时间点区域,小K结合自身的业务流程,他决定设定05:0008:00为两个评估时间点。即在较为重要的那批作业发起前保证此前的作业可以于5点运行完毕,5点发起的那批作业可以于8点前运行完毕。

3.查看现状方案评估结果。
单击现状方案评估,查看当前资源配置情况下,作业产出情况。
image.png

通过CU消耗模拟图,小K看到,在当前的CU配置(预留CU=200)下,作业产出均没有延迟,但是也可以看到计算资源出现了明显的闲置情况,说明有较大的降本空间。

4.设置优化目标。
在评估的CU消耗模拟图下方,是设置优化目标区域,以表格的形式展现了设置的评估时间点的延迟现状,与模拟图展示一致。
image.png

小K看到优化目标一栏默认填写了评估时间点,这正是他所期望的作业完成时间,于是单击生成推荐方案

5.查看推荐方案。
优化效果依旧以CU消耗模拟的方式呈现,小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~08:00分别购买弹性预留50CU,重要作业预估仍然可以在08:00点前完成,而月计算成本仅需10260元,对比不现状方案每月可节省66.6%的费用。
image.png

领导看到这个方案非常满意,询问小K是否还有降本空间。小K想了想,或许可以允许作业延迟30分钟产出,也不会对业务造成较大影响,于是他进行了优化目标的调整。

6.调整优化目标。
返回设置优化目标区域,将评估时间点08:00点对应的优化目标设置为08:30image.png

7.重新查看推荐方案。
再次单击生成推荐方案小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~07:00分别购买弹性预留50CU,重要作业预估仍然可以在08:30前完成,计算成本降低为9330元,对比现状方案每月可节省70%的费用。image.png

8.逐步调整为推荐方案。
为了避免推荐方案实施后效果不稳定,部门开会后决定先不过度降本,先将预留CU整体下调至100,一段时间后重新进行评估,作业量没有明显上涨,系统仍推荐降配并叠加弹性预留CU,于是部门按照不延时的推荐方案进行配置,经过一段时间的试运行,重要作业几乎每天依然可以按时完成,也实现了计算成本的降低。


典型场景二:包年包月计算资源不足,作业完成时间不达预期

某公司在数仓建设初期购买了预留60CU的包年包月计算资源供作业使用,每天有520个作业固定运行在这些资源上,其中有一批较为重要的作业通常在凌晨五点陆续发起,业务侧希望在上午八点前运行完毕。随着业务拓展,作业的扫描数据量持续增加,工程师小K发现这批作业经常延迟完成,经过资源消耗发现是由于预留资源不足导致作业积压,但是他不确定如何调整资源既可以满足作业的完成需求,又不至于费用提升太多。这时他了解到MaxCompute推出了成本优化功能,马上打开MaxCompute控制台进行了操作:

1.进入成本优化页面。

登录MaxCompute控制台,在左上角选择地域后,在左侧导航栏,选择成本管理 > 成本优化

成本优化页面,选择包年包月一级Quota,呈现出每天所需CU预测值。image.png

小K看到这张CU请求预测,认为很符合现在的业务现状,每小时都有一批请求较少的作业发起,在05:00~08:00间有一批请求较多的作业发起。

2.设置评估时间点。
设置评估时间点区域,小K结合自身的业务流程,他决定设定05:0008:00为两个评估时间点。即在较为重要的那批作业发起前保证此前的作业可以于5点运行完毕,5点发起的那批作业可以于8点前运行完毕。

3.查看现状方案评估结果。
单击现状方案评估,查看当前资源配置情况下,作业产出情况。
image.png

通过CU消耗模拟图,小K看到,在当前的CU配置(预留CU=60)下,05:00前提交的作业评估有3分钟延迟,05:00~08:00点间提交的较为重要的那批作业有高达48分钟的延迟,这与实际感受到的延迟时间相近。

4.设置优化目标。
在评估的CU消耗模拟图下方,是设置优化目标区域,以表格的形式展现了设置的评估时间点的延迟现状,与模拟图展示一致。
image.png

小K看到优化目标一栏默认填写了评估时间点,这正是他所期望的作业完成时间,于是单击生成推荐方案

5.查看推荐方案。
优化效果依旧以CU消耗模拟(推荐方案)的方式呈现,包含信息与现状评估图一致,小K看到推荐方案为购买预留50CU,在04:00~05:0006:00~08:00分别购买弹性预留50CU,即可实现05:0008:00的作业延迟为0。而成本只比现有的方案增加了1260元/月。image.png

6.配置推荐方案。

小K认为这个推荐方案的预估成本上升是可以接受的,但是为了避免推荐方案实施后效果不稳定,他决定先不下调预留CU量,先只按照推荐方案配置弹性预留CU,观察一段时间。

a. 在MaxCompute管理控制台左侧导航栏,选择工作区 > 配额(Quota)管理

b. 在Quota管理页面,单击刚刚评估的一级Quota操作列的Quota配置

c. 在Quota配置页面的Quota计划页签,单击添加

d. 在新增Quota计划,将弹性预留CU设置为50后,单击确定

e. 依据推荐方案的时间配置如下Quota时间计划,详细操作请参见配置Quota

开始时间

启用Quota计划

00:00

Default

04:00

上一步骤新增的Quota计划。

05:00

Default

06:00

上一步骤新增的Quota计划。

08:00

Default

  1. (Default计划的弹性预留CU量为0。)

经过一段时间的试运行,小K发现重要作业几乎每天都可以按时完成,提升了研发效率,计算成本也未提升太多。


注意事项

本文所涉及的价格数据均为示例值,实际价格以产品购买页面为准。

上述典型案例的评估方式比较简单,在实际业务实施过程中,您需要综合多方面考虑,建议您依据实际情况逐渐变配至推荐方案,并关注变配后效果。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
存储 分布式计算 大数据
MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!
MaxCompute全新推出了聚簇优化推荐功能。该功能基于 31 天历史运行数据,每日自动输出全局最优 Hash Cluster Key,对于10 GB以上的大型Shuffle场景,这一功能将直接带来显著的成本优化。
213 3
|
3月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
2月前
|
存储 SQL 分布式计算
MaxCompute 聚簇优化推荐原理
基于历史查询智能推荐Clustered表,显著降低计算成本,提升数仓性能。
251 4
MaxCompute 聚簇优化推荐原理
|
2月前
|
存储 并行计算 算法
【动态多目标优化算法】基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解CEC2023研究(Matlab代码实现)
【动态多目标优化算法】基于自适应启动策略的混合交叉动态约束多目标优化算法(MC-DCMOEA)求解CEC2023研究(Matlab代码实现)
168 4
|
2月前
|
大数据 数据挖掘 定位技术
买房不是拍脑袋:大数据教你优化房地产投资策略
买房不是拍脑袋:大数据教你优化房地产投资策略
125 2
|
3月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
3月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用(223)
本文探讨了Java大数据与机器学习模型在生物信息学中基因功能预测的优化与应用。通过高效的数据处理能力和智能算法,提升基因功能预测的准确性与效率,助力医学与农业发展。
|
3月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现(218)
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度,结合实时路况数据和强化学习算法进行动态路径优化,有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑,展示了Java大数据在解决行业痛点问题中的强大能力,为物流行业的智能化转型提供了切实可行的技术方案。
|
3月前
|
机器学习/深度学习 数据采集 搜索推荐
你以为是“说走就走”?其实是“算好才走”:大数据是怎么悄悄优化旅游体验的?
你以为是“说走就走”?其实是“算好才走”:大数据是怎么悄悄优化旅游体验的?
87 0
|
机器学习/深度学习 数据采集 算法框架/工具
使用Python实现深度学习模型:智能人力资源管理与招聘
【8月更文挑战第12天】 使用Python实现深度学习模型:智能人力资源管理与招聘
475 2

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    oss云网关配置