《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
全局流量管理 GTM,标准版 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)

更多精彩内容,欢迎观看:

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上):https://developer.aliyun.com/article/1223285?spm=a2c6h.12873581.technical-group.dArticle1223285.7f76b096Fuo2WN



4. 数据存储冷热分离

 

1) 冷热数据分层

 

AnalyticDB可以按表粒度、表的二级分区粒度独立选择冷、热存储介质,AnalyticDB数据写入时,数据会首先进入热空间SSD上,当热存储数据积累到一定程度或者用户指定的冷表策略时会自动调度后台的Build任务,把数据迁移到冷存储空间。

 

冷数据:指的是访问频次较低的数据,采用低价的HDD存储,满足存储空间的需求。

热数据:指的是访问频次较高的数据,采用SSD存储,满足高性能访问的需求。

 

可以执行CREATE TABLE语句指定表的冷热存储策略为:全热存储数据全部存储在SSD、全冷存储数据全部存储在HDD、冷热混合存储指定一定数量的分区存储在SSD,其余数据存储在HDD

 

image.png

 

2) 冷热分层设计

 

在创建表时可以指定表的冷热数据存储:

 

全热表设置storage_prollcy=‘Hot’

全冷表设置storage_prollcy=‘Cold’

冷热混合表设置storage_prollcy=‘Mixed’,且要指定热分区的个数

 

冷热分层设计优点:

 

可以获取高性价比,完全按量付费。

冷热策略轻松定义:只需指定表的冷热策略即可享有冷热存储能力,无需额外购买资源。

冷热分区自动迁移:异步迁移,业务无感知,不影响读写。

查询和内外部接口统一,在离线一体化,数据强一致。

 

3) 冷热数据存储诊断表

 

AnalyticDB MySQL版弹性模式集群版3.1.3.5及以上版本支持数据的冷热分离存储,用户可以通过查表的方式,查询某一张表的冷热数据存储布局情况。

 

查询所有表的存储状态

 

select * from information schema.table usage

 

查询单个表的存储状态

 

select * from information_schema.table_usage where table schema='$schema name' and table name='$table name'

 

如下图,Table A中有两个分片,指定hot_partition_count为2,但实际显示的hot_partition_count大于用户定义的hot_partition_count。

image.png

 

参考table_usage表字段信息

https://help.aliyun.com/document_detail/189727.html

 

5. 物化视图

 

物化视图是数仓领域的核心特性之一。不同于逻辑视图(view),物化视图(materialized view)会持久化视图的查询结果。

物化视图可用于加速分析,并能简化ETL,适用于多种场景,例如报表类业务,大屏展示需求,来自BI工具的查询等等。

 

1) 创建物化视图的语法

 

CREATE MATERIALIZED VIEW <mv_name>

[MV DEFINITION]

[REFRESH COMPLETE [ON <DEMAND|OVERWRITE>] [STARTWITH date] [NEXT date]]

AS

<QUERY BODY>;

 

示例

 

#指定列建立索引,默认全部列建立索引

CREATE MATERIALIZED VIEW myview(INDEX (name),PRIMARY KEY (id)) DISTRIBUTED BY HASH (id)

AS

SELECT id,name,age FROM base;

#指定分区键和注释

CREATE MATERIALIZED VIEW c (

namevarchar(10),

value double,

KEY INDEX_ID(id) COMMENT 'id',

CLUSTERED KEY INDEX(name,value),

PRIMARY KEY(id)

)

DISTRIBUTED BY hash(id)

PARTITION BY value(date_format(dat,"%Y%m%d"))

LIFECYCLE 30

COMMENT 'MATERIALIZED VIEW C'

AS

SELECT * FROM base;

 

2) 物化视图客户案例

 

案例:生意参谋使用物化视图降低客户查询延迟时间。

 

生意参谋是阿里巴巴旗下为千万商家提供的一项重要产品服务,帮助商家及时分析店铺运营情况,尤其是在大促期间,面对突发的流量和海量的数据,数据分析尤为重要。

利用物化视图,可以大幅降低延迟时间。将每小时展示信息结果存储到物化视图中,每次查询只需要查询物化视图即可,平均每次查询时间降低至100毫秒。

 

image.png

 

6. 备份恢复

image.png

 

1) 备份恢复

 

数据按周全量备份、日志秒级实时备份

支持数据恢复到时间点

 

2) 只读/容灾实例(on-going)

 

只读/容灾实例

数据跨实例自动复制

 

3) 备份恢复与容灾

 

为确保数据误操作后,AnalyticDB MySQL版具备数据快速恢复的能力,集群创建成功后,AnalyticDB MySQL版会自动在后台开启数据备份功能,实现集群级别的数据备份。在AnalyticDB MySQL版控制台查看集群的备份集或修改备份设置。

image.png

 

4) 克隆集群

 

可以根据AnalyticDB MySQL版源集群的已有备份集克隆一个AnalyticDB MySQL版新集群。

 

在业务正式上线前,通常需要模拟一个和正式集群一样的环境进行测试(如压力测试),此时您可以根据源AnalyticDBMySQL版集群克隆一个新的AnalyticDB MySQL版集群,并在克隆集群上进行测试,从而既能确保测试的真实性,又不会影响正常业务的运行。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
19天前
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
115 30
|
19天前
|
存储 网络协议 编译器
【C语言】深入解析C语言结构体:定义、声明与高级应用实践
通过根据需求合理选择结构体定义和声明的放置位置,并灵活结合动态内存分配、内存优化和数据结构设计,可以显著提高代码的可维护性和运行效率。在实际开发中,建议遵循以下原则: - **模块化设计**:尽可能封装实现细节,减少模块间的耦合。 - **内存管理**:明确动态分配与释放的责任,防止资源泄漏。 - **优化顺序**:合理排列结构体成员以减少内存占用。
102 14
|
9天前
|
运维 安全 Cloud Native
阿里云云安全中心全面解析
阿里云云安全中心作为一款集持续监测、深度防御、全面分析、快速响应能力于一体的云上安全管理平台,为企业提供了全方位的安全保障。本文将详细介绍阿里云云安全中心的功能、应用场景、收费标准以及购买建议,帮助您更好地了解和利用这一强大的安全工具。
阿里云云安全中心全面解析
|
23天前
|
存储 算法
深入解析PID控制算法:从理论到实践的完整指南
前言 大家好,今天我们介绍一下经典控制理论中的PID控制算法,并着重讲解该算法的编码实现,为实现后续的倒立摆样例内容做准备。 众所周知,掌握了 PID ,就相当于进入了控制工程的大门,也能为更高阶的控制理论学习打下基础。 在很多的自动化控制领域。都会遇到PID控制算法,这种算法具有很好的控制模式,可以让系统具有很好的鲁棒性。 基本介绍 PID 深入理解 (1)闭环控制系统:讲解 PID 之前,我们先解释什么是闭环控制系统。简单说就是一个有输入有输出的系统,输入能影响输出。一般情况下,人们也称输出为反馈,因此也叫闭环反馈控制系统。比如恒温水池,输入就是加热功率,输出就是水温度;比如冷库,
190 15
|
26天前
|
弹性计算 持续交付 API
构建高效后端服务:微服务架构的深度解析与实践
在当今快速发展的软件行业中,构建高效、可扩展且易于维护的后端服务是每个技术团队的追求。本文将深入探讨微服务架构的核心概念、设计原则及其在实际项目中的应用,通过具体案例分析,展示如何利用微服务架构解决传统单体应用面临的挑战,提升系统的灵活性和响应速度。我们将从微服务的拆分策略、通信机制、服务发现、配置管理、以及持续集成/持续部署(CI/CD)等方面进行全面剖析,旨在为读者提供一套实用的微服务实施指南。
|
20天前
|
存储 缓存 Python
Python中的装饰器深度解析与实践
在Python的世界里,装饰器如同一位神秘的魔法师,它拥有改变函数行为的能力。本文将揭开装饰器的神秘面纱,通过直观的代码示例,引导你理解其工作原理,并掌握如何在实际项目中灵活运用这一强大的工具。从基础到进阶,我们将一起探索装饰器的魅力所在。
|
21天前
|
机器学习/深度学习 搜索推荐 API
淘宝/天猫按图搜索(拍立淘)API的深度解析与应用实践
在数字化时代,电商行业迅速发展,个性化、便捷性和高效性成为消费者新需求。淘宝/天猫推出的拍立淘API,利用图像识别技术,提供精准的购物搜索体验。本文深入探讨其原理、优势、应用场景及实现方法,助力电商技术和用户体验提升。
|
20天前
|
监控 搜索推荐 测试技术
电商API的测试与用途:深度解析与实践
在电子商务蓬勃发展的今天,电商API成为连接电商平台、商家、消费者和第三方开发者的重要桥梁。本文深入探讨了电商API的核心功能,包括订单管理、商品管理、用户管理、支付管理和物流管理,并介绍了有效的测试技巧,如理解API文档、设计测试用例、搭建测试环境、自动化测试、压力测试、安全性测试等。文章还详细阐述了电商API的多样化用途,如商品信息获取、订单管理自动化、用户数据管理、库存同步、物流跟踪、支付处理、促销活动管理、评价管理、数据报告和分析、扩展平台功能及跨境电商等,旨在为开发者和电商平台提供有益的参考。
25 0
|
4月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
5月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

推荐镜像

更多