《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上):https://developer.aliyun.com/article/1223285?spm=a2c6h.12873581.technical-group.dArticle1223285.7f76b096Fuo2WN



4. 数据存储冷热分离

 

1) 冷热数据分层

 

AnalyticDB可以按表粒度、表的二级分区粒度独立选择冷、热存储介质,AnalyticDB数据写入时,数据会首先进入热空间SSD上,当热存储数据积累到一定程度或者用户指定的冷表策略时会自动调度后台的Build任务,把数据迁移到冷存储空间。

 

冷数据:指的是访问频次较低的数据,采用低价的HDD存储,满足存储空间的需求。

热数据:指的是访问频次较高的数据,采用SSD存储,满足高性能访问的需求。

 

可以执行CREATE TABLE语句指定表的冷热存储策略为:全热存储数据全部存储在SSD、全冷存储数据全部存储在HDD、冷热混合存储指定一定数量的分区存储在SSD,其余数据存储在HDD

 

image.png

 

2) 冷热分层设计

 

在创建表时可以指定表的冷热数据存储:

 

全热表设置storage_prollcy=‘Hot’

全冷表设置storage_prollcy=‘Cold’

冷热混合表设置storage_prollcy=‘Mixed’,且要指定热分区的个数

 

冷热分层设计优点:

 

可以获取高性价比,完全按量付费。

冷热策略轻松定义:只需指定表的冷热策略即可享有冷热存储能力,无需额外购买资源。

冷热分区自动迁移:异步迁移,业务无感知,不影响读写。

查询和内外部接口统一,在离线一体化,数据强一致。

 

3) 冷热数据存储诊断表

 

AnalyticDB MySQL版弹性模式集群版3.1.3.5及以上版本支持数据的冷热分离存储,用户可以通过查表的方式,查询某一张表的冷热数据存储布局情况。

 

查询所有表的存储状态

 

select * from information schema.table usage

 

查询单个表的存储状态

 

select * from information_schema.table_usage where table schema='$schema name' and table name='$table name'

 

如下图,Table A中有两个分片,指定hot_partition_count为2,但实际显示的hot_partition_count大于用户定义的hot_partition_count。

image.png

 

参考table_usage表字段信息

https://help.aliyun.com/document_detail/189727.html

 

5. 物化视图

 

物化视图是数仓领域的核心特性之一。不同于逻辑视图(view),物化视图(materialized view)会持久化视图的查询结果。

物化视图可用于加速分析,并能简化ETL,适用于多种场景,例如报表类业务,大屏展示需求,来自BI工具的查询等等。

 

1) 创建物化视图的语法

 

CREATE MATERIALIZED VIEW <mv_name>

[MV DEFINITION]

[REFRESH COMPLETE [ON <DEMAND|OVERWRITE>] [STARTWITH date] [NEXT date]]

AS

<QUERY BODY>;

 

示例

 

#指定列建立索引,默认全部列建立索引

CREATE MATERIALIZED VIEW myview(INDEX (name),PRIMARY KEY (id)) DISTRIBUTED BY HASH (id)

AS

SELECT id,name,age FROM base;

#指定分区键和注释

CREATE MATERIALIZED VIEW c (

namevarchar(10),

value double,

KEY INDEX_ID(id) COMMENT 'id',

CLUSTERED KEY INDEX(name,value),

PRIMARY KEY(id)

)

DISTRIBUTED BY hash(id)

PARTITION BY value(date_format(dat,"%Y%m%d"))

LIFECYCLE 30

COMMENT 'MATERIALIZED VIEW C'

AS

SELECT * FROM base;

 

2) 物化视图客户案例

 

案例:生意参谋使用物化视图降低客户查询延迟时间。

 

生意参谋是阿里巴巴旗下为千万商家提供的一项重要产品服务,帮助商家及时分析店铺运营情况,尤其是在大促期间,面对突发的流量和海量的数据,数据分析尤为重要。

利用物化视图,可以大幅降低延迟时间。将每小时展示信息结果存储到物化视图中,每次查询只需要查询物化视图即可,平均每次查询时间降低至100毫秒。

 

image.png

 

6. 备份恢复

image.png

 

1) 备份恢复

 

数据按周全量备份、日志秒级实时备份

支持数据恢复到时间点

 

2) 只读/容灾实例(on-going)

 

只读/容灾实例

数据跨实例自动复制

 

3) 备份恢复与容灾

 

为确保数据误操作后,AnalyticDB MySQL版具备数据快速恢复的能力,集群创建成功后,AnalyticDB MySQL版会自动在后台开启数据备份功能,实现集群级别的数据备份。在AnalyticDB MySQL版控制台查看集群的备份集或修改备份设置。

image.png

 

4) 克隆集群

 

可以根据AnalyticDB MySQL版源集群的已有备份集克隆一个AnalyticDB MySQL版新集群。

 

在业务正式上线前,通常需要模拟一个和正式集群一样的环境进行测试(如压力测试),此时您可以根据源AnalyticDBMySQL版集群克隆一个新的AnalyticDB MySQL版集群,并在克隆集群上进行测试,从而既能确保测试的真实性,又不会影响正常业务的运行。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
10月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
11月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
521 19
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
595 16
|
存储 人工智能 Cloud Native
NAS深度解析:面向云原生应用的文件存储
本文深入解析了面向云原生应用的文件存储NAS,由阿里云专家分享。内容涵盖Cloud Native与AI浪潮下的技术创新,包括高性能、弹性伸缩、成本优化及数据安全等方面。针对云原生应用的特点,NAS在Serverless生态中不断演进,提供多种产品规格以满足不同需求,如极速型NAS、归档存储等,确保用户在高并发场景下获得稳定低延时的存储体验。同时,通过优化挂载参数和容器访问策略,提升整体性能与可用性。
792 11
|
运维 Cloud Native 云计算
云原生之旅:Docker容器化实战
本文将带你走进云原生的世界,深入理解Docker技术如何改变应用部署与运维。我们将通过实际案例,展示如何利用Docker简化开发流程,提升应用的可移植性和伸缩性。文章不仅介绍基础概念,还提供操作指南和最佳实践,帮助你快速上手Docker,开启云原生的第一步。
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
1226 3
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####

热门文章

最新文章

推荐镜像

更多
  • DNS