云原生数据仓库下的“降本增效”之路怎么走?

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 智能建模诊断与优化是AnalyticDB继智能数据查询诊断与优化后,推出的又一个智能诊断系列,本次发布的冷热数据分层智能推荐和无效索引删除智能推荐2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布分布键智能推荐功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。

作者:才云


数据驱动运营

如今,全球经济增长放缓、市场需求疲软、新冠疫情肆虐、互联网“寒冬”、大厂裁员,中国的互联网公司集体进入了降本增效阶段。企业希望每一分钱得到最大的收益,实现成本效益最大化。同时,国家广电总局对游戏版号审核还没有放开,游戏等行业进入到数据驱动的精细化运营时代。企业大量的数据都放在数据仓库中,数据规模小到数百GB,大到数百TB。数据规模随着业务的发展逐步增加,存储成本在数据仓库整体成本中的占比越来越高。

冷热数据分层

数据仓库的业务通常是BI分析、报表、APP等,我们发现很多业务具有强烈的周期性,很多数据表只有每个月、每个季度才会用到一次。并且,在线分析、离线处理等不同的场景对于查询性能和存储成本的要求是不同的。基于此,阿里云云原生数据仓库AnalyticDB MySQL版(简称:AnalyticDB)在去年推出了「冷热数据分层」功能,支持数据在表和分区级别分为热数据和冷数据,热数据存储在ESSD高性能介质上,加快查询性能;冷数据存储在OSS低成本介质上,节约存储成本。1.png截止当前,60%的数据都以冷数据的形式存放在AnalyticDB中,存储成本不到热数据存储成本的1/10。满足审计/归档等海量数据,低频使用场景对数据存储低成本的诉求。

冷热数据分层智能推荐

我们在跟客户交流「冷热数据分层」功能的时候,很多客户反馈新的数据表可以按照我们建议的方式在建表时指定是热表,混合表,还是冷表。但对于老的数据表,客户因为员工流动等原因,不清楚数据表的使用频率。而且多达成千上万张的数据表,也不可能通过人工进行逐一分析。今年,AnalyticDB再次重磅推出「智能建模诊断与优化」功能,功能之一「冷热数据分层智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些热表是低频使用的,建议转成冷表。


AnalyticDB对弹性模式(E系列)实例利用「冷热数据分层智能推荐」功能可以获得的潜在收益进行了统计。可以看到60%的实例可以通过本建议的提示,将15天未使用的热表转成冷表,节省30%以上的热存空间,降低存储成本。(如下图所示)2.png

无效索引删除智能推荐

除了热数据的存储成本较高,我们还发现为了查询性能最优,简化建表时选择索引列的负担,建表时默认会为全部数据列建索引,但实际业务往往只会用到几个列的索引进行查询和数据过滤,长期无用的索引反而增加了存储的成本。


「智能建模诊断与优化」的功能之二「无效索引删除智能推荐」便是为了帮助客户通过后台自动扫描Workload,智能推荐哪些列的索引是长期没有使用的,建议删除。同样,AnalyticDB也对弹性模式(E系列)实例利用「无效索引删除智能推荐」功能可以获得的潜在收益进行了统计。可以看到55%的实例可以通过本建议的提示,将15天未使用的索引进行删除,节省30%以上的存储空间,降低存储成本。(如下图所示)3.png

总结展望

「智能建模诊断与优化」是AnalyticDB继「智能数据查询诊断与优化」https://mp.weixin.qq.com/s/159WIUU9oWKZdgiau2UA6w)后,推出的又一个「智能诊断」系列,本次发布的「冷热数据分层智能推荐」「无效索引删除智能推荐」2个功能,主要是从低频使用的热表转冷表减少热存空间,删除无效索引维度减少存储空间,最终降低存储成本。后续还将发布「分布键智能推荐」功能帮助客户通过优化分布键,提供Join/GroupBy等场景的查询性能。让我们用智能的方式,和客户一起,探索云原生数据仓库下的“降本增效”之路。    

欢迎试用

用户可以通过控制台左边栏「诊断与优化」 -> 「库表结构调优」使用该功能4.png使用指南:https://help.aliyun.com/document_detail/411184.html有任何使用上的问题和建议,欢迎进钉钉支持群联系我们。    5.png

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
3月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库操作报错合集之遇到“table does not exist”错误,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错“DDL forbidden because backupTask is doing snapshot”如何处理
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
JSON Cloud Native 关系型数据库
云原生数据仓库操作报错合集之遇到报错 "ERROR: out of shared memory" ,该怎么办
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之如何使用UPDATE语句进行单表更新和多表关联更新
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
4月前
|
SQL 运维 Cloud Native
云原生数据仓库使用问题之运维常用操作文档有哪些
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
3天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
5天前
|
消息中间件 存储 Cloud Native
云原生架构下的数据一致性挑战与应对策略####
本文探讨了在云原生环境中,面对微服务架构的广泛应用,数据一致性问题成为系统设计的核心挑战之一。通过分析云原生环境的特点,阐述了数据不一致性的常见场景及其对业务的影响,并深入讨论了解决这些问题的策略,包括采用分布式事务、事件驱动架构、补偿机制以及利用云平台提供的托管服务等。文章旨在为开发者提供一套系统性的解决方案框架,以应对在动态、分布式的云原生应用中保持数据一致性的复杂性。 ####
|
1天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
17 5

热门文章

最新文章