云原生数据仓库下的“降本增效”之路怎么走?

简介: 智能建模诊断与优化是AnalyticDB继智能数据查询诊断与优化后,推出的又一个智能诊断系列,本次发布的冷热数据分层智能推荐和无效索引删除智能推荐2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布分布键智能推荐功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。

作者:才云


数据驱动运营

如今,全球经济增长放缓、市场需求疲软、新冠疫情肆虐、互联网“寒冬”、大厂裁员,中国的互联网公司集体进入了降本增效阶段。企业希望每一分钱得到最大的收益,实现成本效益最大化。同时,国家广电总局对游戏版号审核还没有放开,游戏等行业进入到数据驱动的精细化运营时代。企业大量的数据都放在数据仓库中,数据规模小到数百GB,大到数百TB。数据规模随着业务的发展逐步增加,存储成本在数据仓库整体成本中的占比越来越高。

冷热数据分层

数据仓库的业务通常是BI分析、报表、APP等,我们发现很多业务具有强烈的周期性,很多数据表只有每个月、每个季度才会用到一次。并且,在线分析、离线处理等不同的场景对于查询性能和存储成本的要求是不同的。基于此,阿里云云原生数据仓库AnalyticDB MySQL版(简称:AnalyticDB)在去年推出了「冷热数据分层」功能,支持数据在表和分区级别分为热数据和冷数据,热数据存储在ESSD高性能介质上,加快查询性能;冷数据存储在OSS低成本介质上,节约存储成本。1.png截止当前,60%的数据都以冷数据的形式存放在AnalyticDB中,存储成本不到热数据存储成本的1/10。满足审计/归档等海量数据,低频使用场景对数据存储低成本的诉求。

冷热数据分层智能推荐

我们在跟客户交流「冷热数据分层」功能的时候,很多客户反馈新的数据表可以按照我们建议的方式在建表时指定是热表,混合表,还是冷表。但对于老的数据表,客户因为员工流动等原因,不清楚数据表的使用频率。而且多达成千上万张的数据表,也不可能通过人工进行逐一分析。今年,AnalyticDB再次重磅推出「智能建模诊断与优化」功能,功能之一「冷热数据分层智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些热表是低频使用的,建议转成冷表。


AnalyticDB对弹性模式(E系列)实例利用「冷热数据分层智能推荐」功能可以获得的潜在收益进行了统计。可以看到60%的实例可以通过本建议的提示,将15天未使用的热表转成冷表,节省30%以上的热存空间,降低存储成本。(如下图所示)2.png

无效索引删除智能推荐

除了热数据的存储成本较高,我们还发现为了查询性能最优,简化建表时选择索引列的负担,建表时默认会为全部数据列建索引,但实际业务往往只会用到几个列的索引进行查询和数据过滤,长期无用的索引反而增加了存储的成本。


「智能建模诊断与优化」的功能之二「无效索引删除智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些列的索引是长期没有使用的,建议删除。同样,AnalyticDB也对弹性模式(E系列)实例利用「无效索引删除智能推荐」功能可以获得的潜在收益进行了统计。可以看到55%的实例可以通过本建议的提示,将15天未使用的索引进行删除,节省30%以上的存储空间,降低存储成本。(如下图所示)3.png

总结展望

「智能建模诊断与优化」是AnalyticDB继「智能数据查询诊断与优化」https://mp.weixin.qq.com/s/159WIUU9oWKZdgiau2UA6w)后,推出的又一个「智能诊断」系列,本次发布的「冷热数据分层智能推荐」「无效索引删除智能推荐」2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布「分布键智能推荐」功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。让我们用智能的方式,和客户一起,探索云原生数据仓库下的“降本增效”之路。    

欢迎试用

用户可以通过控制台左边栏「诊断与优化」 -> 「库表结构调优」使用该功能4.png使用指南:https://help.aliyun.com/document_detail/411184.html有任何使用上的问题和建议,欢迎进钉钉支持群联系我们。    5.png

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
7天前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
8月前
|
Cloud Native 关系型数据库 MySQL
下一代企业级云原生实时数仓的创新和实践(一)
下一代企业级云原生实时数仓的创新和实践(一)
247 1
|
9月前
|
存储 人工智能 Cloud Native
云原生大数据架构实践与思考-DataFunTalk
导读: 作者:振策-阿里云计算平台-产品解决方案, 20230805 本文将分享当前云原生大数据架构的发展历程/架构定义/核心能力/应用场景及趋势思考。主要包括以下四个部分: - 从大数据上云看架构 - 云原生数据平台的核心能力 - Data+AI with Cloud-Native - 未来趋势与思考
1430 0
|
12月前
|
存储 SQL Cloud Native
离在线一体化云原生数仓发展思考
OLAP是一个很卷的赛道,创业公司也众多。基于笔者10+年的大数据与数据仓库的工作经验,就目前的数据仓库主流趋势:离在线一体化、引擎一体化、云原生化等写一些思考,抛砖引玉。
294 0
|
7天前
|
SQL 存储 数据挖掘
Serverless数据仓库实践,助力企业敏捷数据分析
现代的云原生数据仓库架构传统的云数据仓库需要用户购买一个预置的数据资源进行7*24的长时间运行;这种方式对于当下崇尚敏捷创业者来说使用负担较大,对于探索类或成长型业务缺少灵活的使用模式以满足低成本数据分析诉求;随着这个问题被越来越多的企业关注,Serverless的使用方式开始逐渐被各大厂商提及,B...
Serverless数据仓库实践,助力企业敏捷数据分析
|
SQL 存储 分布式计算
Serverless数据仓库探索,助力企业敏捷数据分析
本文介绍了如何通过通过Serverless的OLAP产品,帮助企业升级至更加敏捷的分析平台架构,大幅简化架构复杂度并提高分析效率。
Serverless数据仓库探索,助力企业敏捷数据分析
|
Cloud Native
《云原生数据仓库加速数智化创新》电子版地址
云原生数据仓库加速数智化创新
66 0
《云原生数据仓库加速数智化创新》电子版地址
|
SQL 存储 Cloud Native
AnalyticDB是阿里云自主研发的云原生数据仓库
AnalyticDB是阿里云自主研发的云原生数据仓库
179 0
|
存储 SQL 分布式计算
以“升舱”之名,谈谈云原生数据仓库AnalyticDB的核心技术
企业级云原生数据仓库AnalyticDB提出了升舱计划,旨在承担和帮助金融、运营商、政务等行业构建下一代数据管理和分析系统,以应对不断增长的数据规模,业务数字化转型,和传统数仓替换升级需求。7月19日,“千仓万库,轻云直上——阿里云数据库升舱计划实战峰会”即将在线上召开。
以“升舱”之名,谈谈云原生数据仓库AnalyticDB的核心技术
|
分布式计算 DataWorks Cloud Native
云原生一体化数仓是什么
云原生一体化数仓是什么
140 0

热门文章

最新文章