云原生数据仓库下的“降本增效”之路怎么走?

简介: 智能建模诊断与优化是AnalyticDB继智能数据查询诊断与优化后,推出的又一个智能诊断系列,本次发布的冷热数据分层智能推荐和无效索引删除智能推荐2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布分布键智能推荐功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。

作者:才云


数据驱动运营

如今,全球经济增长放缓、市场需求疲软、新冠疫情肆虐、互联网“寒冬”、大厂裁员,中国的互联网公司集体进入了降本增效阶段。企业希望每一分钱得到最大的收益,实现成本效益最大化。同时,国家广电总局对游戏版号审核还没有放开,游戏等行业进入到数据驱动的精细化运营时代。企业大量的数据都放在数据仓库中,数据规模小到数百GB,大到数百TB。数据规模随着业务的发展逐步增加,存储成本在数据仓库整体成本中的占比越来越高。

冷热数据分层

数据仓库的业务通常是BI分析、报表、APP等,我们发现很多业务具有强烈的周期性,很多数据表只有每个月、每个季度才会用到一次。并且,在线分析、离线处理等不同的场景对于查询性能和存储成本的要求是不同的。基于此,阿里云云原生数据仓库AnalyticDB MySQL版(简称:AnalyticDB)在去年推出了「冷热数据分层」功能,支持数据在表和分区级别分为热数据和冷数据,热数据存储在ESSD高性能介质上,加快查询性能;冷数据存储在OSS低成本介质上,节约存储成本。1.png截止当前,60%的数据都以冷数据的形式存放在AnalyticDB中,存储成本不到热数据存储成本的1/10。满足审计/归档等海量数据,低频使用场景对数据存储低成本的诉求。

冷热数据分层智能推荐

我们在跟客户交流「冷热数据分层」功能的时候,很多客户反馈新的数据表可以按照我们建议的方式在建表时指定是热表,混合表,还是冷表。但对于老的数据表,客户因为员工流动等原因,不清楚数据表的使用频率。而且多达成千上万张的数据表,也不可能通过人工进行逐一分析。今年,AnalyticDB再次重磅推出「智能建模诊断与优化」功能,功能之一「冷热数据分层智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些热表是低频使用的,建议转成冷表。


AnalyticDB对弹性模式(E系列)实例利用「冷热数据分层智能推荐」功能可以获得的潜在收益进行了统计。可以看到60%的实例可以通过本建议的提示,将15天未使用的热表转成冷表,节省30%以上的热存空间,降低存储成本。(如下图所示)2.png

无效索引删除智能推荐

除了热数据的存储成本较高,我们还发现为了查询性能最优,简化建表时选择索引列的负担,建表时默认会为全部数据列建索引,但实际业务往往只会用到几个列的索引进行查询和数据过滤,长期无用的索引反而增加了存储的成本。


「智能建模诊断与优化」的功能之二「无效索引删除智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些列的索引是长期没有使用的,建议删除。同样,AnalyticDB也对弹性模式(E系列)实例利用「无效索引删除智能推荐」功能可以获得的潜在收益进行了统计。可以看到55%的实例可以通过本建议的提示,将15天未使用的索引进行删除,节省30%以上的存储空间,降低存储成本。(如下图所示)3.png

总结展望

「智能建模诊断与优化」是AnalyticDB继「智能数据查询诊断与优化」https://mp.weixin.qq.com/s/159WIUU9oWKZdgiau2UA6w)后,推出的又一个「智能诊断」系列,本次发布的「冷热数据分层智能推荐」「无效索引删除智能推荐」2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布「分布键智能推荐」功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。让我们用智能的方式,和客户一起,探索云原生数据仓库下的“降本增效”之路。    

欢迎试用

用户可以通过控制台左边栏「诊断与优化」 -> 「库表结构调优」使用该功能4.png使用指南:https://help.aliyun.com/document_detail/411184.html有任何使用上的问题和建议,欢迎进钉钉支持群联系我们。    5.png

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
6天前
|
SQL Cloud Native 数据挖掘
云原生数据仓库产品使用合集之在使用 ADB 进行数据分析处理时,出现分区倾斜的情况,如何解决
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在云数据仓库ADB中,GROUP BY操作中出现NULL值,如何解决
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之如何使用ADB MySQL湖仓版声纹特征提取服务
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
SQL 分布式计算 关系型数据库
云原生数据仓库产品使用合集之可以把ADB MySQL湖仓版数据库做成页面查询的数据库吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
存储 运维 监控
云原生数据仓库产品使用合集之怎样才可以提高云数据ADB的执行速度
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
6天前
|
存储 分布式计算 关系型数据库
云原生数据仓库产品使用合集之ADB如何确保数据库的可用性
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
21小时前
|
Cloud Native Java 关系型数据库
【阿里云云原生专栏】构建云原生应用:基于Spring Boot与阿里云服务的全栈指南
【5月更文挑战第21天】构建云原生应用是企业数字化转型的关键,本文提供了一份基于Spring Boot和阿里云的全栈指南。涵盖从阿里云账号注册、ECS与Docker搭建,到Spring Boot项目创建、业务代码编写和部署。此外,还介绍了如何集成阿里云OSS存储、RDS数据库服务以及ACK容器服务,助力打造高效、可扩展和易管理的云原生应用。
83 3
|
21小时前
|
Cloud Native 数据管理 关系型数据库
【阿里云云原生专栏】云原生数据管理:阿里云数据库服务的分布式实践
【5月更文挑战第21天】阿里云数据库服务在云原生时代展现优势,应对分布式数据管理挑战。PolarDB等服务保证高可用和弹性,通过多副本机制和分布式事务确保数据一致性和可靠性。示例代码展示了在阿里云数据库上进行分布式事务操作。此外,丰富的监控工具协助用户管理数据库性能,支持企业的数字化转型和业务增长。
98 1
|
1天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级

热门文章

最新文章