云原生数据仓库下的“降本增效”之路怎么走?

简介: 智能建模诊断与优化是AnalyticDB继智能数据查询诊断与优化后,推出的又一个智能诊断系列,本次发布的冷热数据分层智能推荐和无效索引删除智能推荐2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布分布键智能推荐功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。

作者:才云


数据驱动运营

如今,全球经济增长放缓、市场需求疲软、新冠疫情肆虐、互联网“寒冬”、大厂裁员,中国的互联网公司集体进入了降本增效阶段。企业希望每一分钱得到最大的收益,实现成本效益最大化。同时,国家广电总局对游戏版号审核还没有放开,游戏等行业进入到数据驱动的精细化运营时代。企业大量的数据都放在数据仓库中,数据规模小到数百GB,大到数百TB。数据规模随着业务的发展逐步增加,存储成本在数据仓库整体成本中的占比越来越高。

冷热数据分层

数据仓库的业务通常是BI分析、报表、APP等,我们发现很多业务具有强烈的周期性,很多数据表只有每个月、每个季度才会用到一次。并且,在线分析、离线处理等不同的场景对于查询性能和存储成本的要求是不同的。基于此,阿里云云原生数据仓库AnalyticDB MySQL版(简称:AnalyticDB)在去年推出了「冷热数据分层」功能,支持数据在表和分区级别分为热数据和冷数据,热数据存储在ESSD高性能介质上,加快查询性能;冷数据存储在OSS低成本介质上,节约存储成本。1.png截止当前,60%的数据都以冷数据的形式存放在AnalyticDB中,存储成本不到热数据存储成本的1/10。满足审计/归档等海量数据,低频使用场景对数据存储低成本的诉求。

冷热数据分层智能推荐

我们在跟客户交流「冷热数据分层」功能的时候,很多客户反馈新的数据表可以按照我们建议的方式在建表时指定是热表,混合表,还是冷表。但对于老的数据表,客户因为员工流动等原因,不清楚数据表的使用频率。而且多达成千上万张的数据表,也不可能通过人工进行逐一分析。今年,AnalyticDB再次重磅推出「智能建模诊断与优化」功能,功能之一「冷热数据分层智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些热表是低频使用的,建议转成冷表。


AnalyticDB对弹性模式(E系列)实例利用「冷热数据分层智能推荐」功能可以获得的潜在收益进行了统计。可以看到60%的实例可以通过本建议的提示,将15天未使用的热表转成冷表,节省30%以上的热存空间,降低存储成本。(如下图所示)2.png

无效索引删除智能推荐

除了热数据的存储成本较高,我们还发现为了查询性能最优,简化建表时选择索引列的负担,建表时默认会为全部数据列建索引,但实际业务往往只会用到几个列的索引进行查询和数据过滤,长期无用的索引反而增加了存储的成本。


「智能建模诊断与优化」的功能之二「无效索引删除智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些列的索引是长期没有使用的,建议删除。同样,AnalyticDB也对弹性模式(E系列)实例利用「无效索引删除智能推荐」功能可以获得的潜在收益进行了统计。可以看到55%的实例可以通过本建议的提示,将15天未使用的索引进行删除,节省30%以上的存储空间,降低存储成本。(如下图所示)3.png

总结展望

「智能建模诊断与优化」是AnalyticDB继「智能数据查询诊断与优化」https://mp.weixin.qq.com/s/159WIUU9oWKZdgiau2UA6w)后,推出的又一个「智能诊断」系列,本次发布的「冷热数据分层智能推荐」「无效索引删除智能推荐」2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布「分布键智能推荐」功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。让我们用智能的方式,和客户一起,探索云原生数据仓库下的“降本增效”之路。    

欢迎试用

用户可以通过控制台左边栏「诊断与优化」 -> 「库表结构调优」使用该功能4.png使用指南:https://help.aliyun.com/document_detail/411184.html有任何使用上的问题和建议,欢迎进钉钉支持群联系我们。    5.png

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
存储 SQL 弹性计算
元数据驱动的 SaaS 架构与背后的技术思考
在抽象能力以及沉淀了产品的基础上,把所承载和沉淀的业务能力快速输出,贡献给整个行业。
10545 109
元数据驱动的 SaaS 架构与背后的技术思考
|
SQL 人工智能 DataWorks
【云栖实录】DataWorks:新一代智能湖仓一体数据开发与治理平台
在9月21日的云栖大会上,DataWorks发布了新一代智能湖仓一体数据开发与治理平台。DataWorks历经Kubernetes改造与云原生调度系统的优化,实现了资源组全面Serverless化,降低了使用成本,最高可节省40%。新推出的DataWorks Data Studio,支持多种计算引擎,提供更开放的云原生WebIDE,提升开发效率。DataWorks Copilot智能助手也得到升级,支持多种SQL方言和Python代码生成,平均提升数据开发效率35%。此外,DataWorks还推出了全方位的数据资产治理体系,涵盖业务和技术视角,助力企业实现数据智能化管理和转型。
1137 0
【云栖实录】DataWorks:新一代智能湖仓一体数据开发与治理平台
|
存储 SQL 分布式计算
|
网络协议 网络安全 数据安全/隐私保护
计算机网络概念:网关,DHCP,IP寻址,ARP欺骗,路由,DDOS等
计算机网络概念:网关,DHCP,IP寻址,ARP欺骗,路由,DDOS等
291 4
|
SQL 消息中间件 资源调度
实时计算 Flink版产品使用问题之如何实现血缘查询功能
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
搜索推荐 物联网 智能硬件
智能穿戴设备的应用场景
智能穿戴设备的应用场景广泛且多样化,它们不仅提升了日常生活的便利性,还融入了健康管理和科技娱乐等多个方面。以下是一些具体的智能穿戴设备应用场景:
|
数据采集 监控 架构师
主数据管理实施方案:规划与具体策略的全面解析
在当今数字化转型的浪潮中,主数据管理(MDM, Master Data Management)已成为企业提升数据质量、优化业务流程、增强决策能力的重要基石。一个成功的主数据管理实施方案不仅需要周密的规划,还需要具体可行的策略来确保项目顺利推进并达到预期效果。
1347 4
|
存储 安全 Unix
探索Linux中的`mkdir`命令:创建目录的艺术
`mkdir`命令在Linux中用于创建目录,是文件管理的关键工具。它可以递归创建目录(-p选项),设置新目录权限(-m选项)并显示详细信息(-v选项)。例如,`mkdir -p dir1/dir2/dir3`会创建多级目录,而`mkdir -m 700 secret`创建一个具有特定权限的目录。在处理项目数据时,常通过脚本批量创建目录,如创建多个年份销售数据的子目录。使用时注意检查目录是否存在,设置适当权限,并避免在根目录下操作。查阅`man mkdir`获取更多帮助。
|
存储 关系型数据库 数据库
云上如何做冷热数据分离
前言 随着业务的发展和持续运行,系统会产生大量的数据,数据的增长伴随而来的是对数据库的考验,在达到一定的数据量之后数据库的访问性能就会持续下降,为了系统的稳定运行,得要么提高数据库访问性能,要么把数据限定在一定的量上。前者会导致IT系统的不断投入,投入产出比不高,且早晚会达到系统的瓶颈,后者需要抛弃旧的数据,从历史数据的完整性上来说也是我们不愿意看到的。 如果暂时没有上分析性数据仓库的需求,那
12378 0
|
存储 NoSQL 算法
【LFU】一文让你弄清 Redis LFU 页面置换算法
【LFU】一文让你弄清 Redis LFU 页面置换算法
400 1

热门文章

最新文章