《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上):https://developer.aliyun.com/article/1223285?spm=a2c6h.12873581.technical-group.dArticle1223285.7f76b096Fuo2WN



4. 数据存储冷热分离

 

1) 冷热数据分层

 

AnalyticDB可以按表粒度、表的二级分区粒度独立选择冷、热存储介质,AnalyticDB数据写入时,数据会首先进入热空间SSD上,当热存储数据积累到一定程度或者用户指定的冷表策略时会自动调度后台的Build任务,把数据迁移到冷存储空间。

 

冷数据:指的是访问频次较低的数据,采用低价的HDD存储,满足存储空间的需求。

热数据:指的是访问频次较高的数据,采用SSD存储,满足高性能访问的需求。

 

可以执行CREATE TABLE语句指定表的冷热存储策略为:全热存储数据全部存储在SSD、全冷存储数据全部存储在HDD、冷热混合存储指定一定数量的分区存储在SSD,其余数据存储在HDD

 

image.png

 

2) 冷热分层设计

 

在创建表时可以指定表的冷热数据存储:

 

全热表设置storage_prollcy=‘Hot’

全冷表设置storage_prollcy=‘Cold’

冷热混合表设置storage_prollcy=‘Mixed’,且要指定热分区的个数

 

冷热分层设计优点:

 

可以获取高性价比,完全按量付费。

冷热策略轻松定义:只需指定表的冷热策略即可享有冷热存储能力,无需额外购买资源。

冷热分区自动迁移:异步迁移,业务无感知,不影响读写。

查询和内外部接口统一,在离线一体化,数据强一致。

 

3) 冷热数据存储诊断表

 

AnalyticDB MySQL版弹性模式集群版3.1.3.5及以上版本支持数据的冷热分离存储,用户可以通过查表的方式,查询某一张表的冷热数据存储布局情况。

 

查询所有表的存储状态

 

select * from information schema.table usage

 

查询单个表的存储状态

 

select * from information_schema.table_usage where table schema='$schema name' and table name='$table name'

 

如下图,Table A中有两个分片,指定hot_partition_count为2,但实际显示的hot_partition_count大于用户定义的hot_partition_count。

image.png

 

参考table_usage表字段信息

https://help.aliyun.com/document_detail/189727.html

 

5. 物化视图

 

物化视图是数仓领域的核心特性之一。不同于逻辑视图(view),物化视图(materialized view)会持久化视图的查询结果。

物化视图可用于加速分析,并能简化ETL,适用于多种场景,例如报表类业务,大屏展示需求,来自BI工具的查询等等。

 

1) 创建物化视图的语法

 

CREATE MATERIALIZED VIEW <mv_name>

[MV DEFINITION]

[REFRESH COMPLETE [ON <DEMAND|OVERWRITE>] [STARTWITH date] [NEXT date]]

AS

<QUERY BODY>;

 

示例

 

#指定列建立索引,默认全部列建立索引

CREATE MATERIALIZED VIEW myview(INDEX (name),PRIMARY KEY (id)) DISTRIBUTED BY HASH (id)

AS

SELECT id,name,age FROM base;

#指定分区键和注释

CREATE MATERIALIZED VIEW c (

namevarchar(10),

value double,

KEY INDEX_ID(id) COMMENT 'id',

CLUSTERED KEY INDEX(name,value),

PRIMARY KEY(id)

)

DISTRIBUTED BY hash(id)

PARTITION BY value(date_format(dat,"%Y%m%d"))

LIFECYCLE 30

COMMENT 'MATERIALIZED VIEW C'

AS

SELECT * FROM base;

 

2) 物化视图客户案例

 

案例:生意参谋使用物化视图降低客户查询延迟时间。

 

生意参谋是阿里巴巴旗下为千万商家提供的一项重要产品服务,帮助商家及时分析店铺运营情况,尤其是在大促期间,面对突发的流量和海量的数据,数据分析尤为重要。

利用物化视图,可以大幅降低延迟时间。将每小时展示信息结果存储到物化视图中,每次查询只需要查询物化视图即可,平均每次查询时间降低至100毫秒。

 

image.png

 

6. 备份恢复

image.png

 

1) 备份恢复

 

数据按周全量备份、日志秒级实时备份

支持数据恢复到时间点

 

2) 只读/容灾实例(on-going)

 

只读/容灾实例

数据跨实例自动复制

 

3) 备份恢复与容灾

 

为确保数据误操作后,AnalyticDB MySQL版具备数据快速恢复的能力,集群创建成功后,AnalyticDB MySQL版会自动在后台开启数据备份功能,实现集群级别的数据备份。在AnalyticDB MySQL版控制台查看集群的备份集或修改备份设置。

image.png

 

4) 克隆集群

 

可以根据AnalyticDB MySQL版源集群的已有备份集克隆一个AnalyticDB MySQL版新集群。

 

在业务正式上线前,通常需要模拟一个和正式集群一样的环境进行测试(如压力测试),此时您可以根据源AnalyticDBMySQL版集群克隆一个新的AnalyticDB MySQL版集群,并在克隆集群上进行测试,从而既能确保测试的真实性,又不会影响正常业务的运行。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
打赏
0
0
1
0
41
分享
相关文章
阿里云云原生NDR发布:全流量防御能力升级
阿里云发布云原生NDR,提供全流量威胁检测与响应能力。该产品无需部署,支持一键接入、自动留存攻击报文,并具备多引擎关联分析、资产风险管理等功能,有效提升高级威胁应对能力。典型客户案例显示,NDR在重保防护、敏感数据泄露和日志合规等场景中表现出色。总结来看,NDR强调原生化、性价比和强检测,帮助用户简化安全运营并降低成本。
34 11
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 12 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
103 12
阿里云PolarDB:引领云原生数据库创新发展
阿里云PolarDB引领云原生数据库创新,2024云栖大会将分享其最新发展及在游戏行业的应用。PolarDB凭借弹性、高可用性、多写技术等优势,支持全球80多个站点,服务1万多家企业。特别是针对游戏行业,PolarDB助力Funplus等公司实现高效运维、成本优化和业务扩展。通过云原生能力,PolarDB推动游戏业务的全球化部署与快速响应,提升用户体验并保障数据安全。未来,PolarDB将继续探索AI、多云管理等前沿技术,为用户提供更智能的数据基础设施。
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
67 3
云原生架构的演进与挑战
随着云计算技术的不断发展,云原生架构已成为企业数字化转型的重要支撑。本文深入探讨了云原生架构的概念、发展历程、核心技术以及面临的挑战,旨在为读者提供一个全面了解云原生架构的视角。通过分析Kubernetes、Docker等关键技术的应用,以及微服务、持续集成/持续部署(CI/CD)等实践案例,本文揭示了云原生架构在提高应用开发效率、降低运维成本、增强系统可扩展性等方面的显著优势。同时,也指出了云原生架构在安全性、复杂性管理等方面所面临的挑战,并提出了相应的解决策略。
云原生技术深度探索:重塑现代IT架构的无形之力####
本文深入剖析了云原生技术的核心概念、关键技术组件及其对现代IT架构变革的深远影响。通过实例解析,揭示云原生如何促进企业实现敏捷开发、弹性伸缩与成本优化,为数字化转型提供强有力的技术支撑。不同于传统综述,本摘要直接聚焦于云原生技术的价值本质,旨在为读者构建一个宏观且具体的技术蓝图。 ####
云原生架构的崛起与未来展望
在数字化转型的浪潮中,云原生架构凭借其高效、灵活和可扩展的特性,正逐渐成为企业IT战略的核心。本文旨在探讨云原生架构的定义、关键特性、实施优势以及面临的挑战,同时展望未来的发展趋势。通过深入分析,我们期望为读者提供一个关于云原生架构全面而深入的视角,助力企业在云计算时代做出更明智的决策。
53 3

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等