大咖与小白的日常:高性价比的数据归档解决方案

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

背景

随着企业的数据资料持续积累,为了满足审计合规要求或潜在的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境。

是否有“低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析”? 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于Serverless版共同推出了数据归档能力; 可以面对数据库,实现“灵活低价 + 归档管理 + 高分析性能”的整套数据归档方案。

数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。可以在DMS的解决方案处找到该解决方案;该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力;同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求。

(图1)

AnalyticDB PostgreSQL Serverless版发布,作为全新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析。

(图2)

主流方案能力对比

归档方案

使用OLTP数据库

OSS

传统OLAP引擎

ADB PG Serverless版

价格

较差

优秀

较差

优秀

数据管理

优秀

较差

优秀

优秀

数据查询+分析

中等

较差

优秀

优秀

创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源:

您的业务(事务型)数据库,此为用户主要的归档的数据源;

AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击购买Serverless实例,建议使用按量付费版本。

Note:点击了解更多ADB PG Serverless版本

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;

(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档;

需保证您已登录阿里云账号

第一步:进入归档页面

登录DMS 控制台,如图4所示进入归档解决方案页面;

(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

设置任务名称: 提供数据归档任务的名称;

选择归档目标类型: 选择归档类型为ADB-PG

选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登录DMS确保DMS可搜索到该实例,可通过AnalyticDB的快速开始教程,进行ADB PG实例初始化设置;)

成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;

配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要被备份的数据库,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登录该数据库所在实例,确保元数据被DMS获取;

配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);

配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;

设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;

设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除。

(图5)

(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;。

(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8。

(图8)

视频教程:如何配置数据参数

第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示。

(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登录ADB-PG控制台,查看归档实例;

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示。

(图11)

实例启动之后,可通过用户名和密码登录DMS实例并寻找归档数据库进行分析,如图12。

(图12)

找到归档实例,归档数据库,双击进入数据库后可进行SQL提交,如图13。

(图13)

方案优势 & 总结

对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;

接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜索群组:11700737)进行咨询;

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
数据采集 SQL DataWorks
【颠覆想象的数据巨匠】DataWorks——远超Excel的全能数据集成与管理平台:一场电商数据蜕变之旅的大揭秘!
【8月更文挑战第7天】随着大数据技术的发展,企业对数据处理的需求日益增长。DataWorks作为阿里云提供的数据集成与管理平台,为企业提供从数据采集、清洗、加工到应用的一站式解决方案。不同于桌面级工具如Excel,DataWorks具备强大的数据处理能力和丰富的功能集,支持大规模数据处理任务。本文通过电商平台案例,展示了如何使用DataWorks构建数据处理流程,包括多源数据接入、SQL任务实现数据采集、数据清洗加工以提高质量,以及利用分析工具挖掘数据价值的过程。这不仅凸显了DataWorks在大数据处理中的核心功能与优势,还展示了其相较于传统工具的高扩展性和灵活性。
155 0
|
7月前
|
关系型数据库 分布式数据库 数据库
阿里云618创新加速季数据库分会场全攻略
2024年阿里云618创新加速季活动已开启,数据库分会场推出多重优惠。RDS MySQL低至1折,部分产品享超值首购优惠,三个月仅需1折,续费也有折扣。此外,每天10点还有限时秒杀活动,云产品低至6.5折。新用户在新人专区购买指定规格可享首年折扣,还有数据库上云组合购优惠和开发者动手实践奖励。企业用户可申请5亿算力补贴,加速数字化转型。更多活动详情和优惠信息,可访问官方活动页面了解。
|
存储 弹性计算 负载均衡
关于阿里云存储产品的感悟和建议
关于阿里云存储产品的感悟和建议
226 1
|
人工智能 数据处理
带你读《生命科学行业云上解决方案及最佳实践》——前言
带你读《生命科学行业云上解决方案及最佳实践》——前言
228 1
|
存储 弹性计算 分布式计算
SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道
目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。
836 0
SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道
|
存储 运维 监控
带你读《云存储应用白皮书》之30:3. 在线教育数据存储解决方案
带你读《云存储应用白皮书》之30:3. 在线教育数据存储解决方案
280 0
|
存储 弹性计算 人工智能
基础存储服务新手体验营
有奖体验!7月7日-7月20日活动期间,完成以下任意一个场景即可抢10元猫超卡!工作日每日10点发放30张,可提前完成任务,下个工作日10点来抢!先到先得!
211 0
基础存储服务新手体验营
|
Cloud Native 数据管理 数据库
倒计时2天|阿里云数据库创新上云峰会亮点剧透
免费报名入口!9月26日,“数聚云端·智驭未来”——阿里云数据库创新上云峰会暨第3届数据库性能挑战赛决赛颁奖典礼将在北京隆重召开。
504 0
倒计时2天|阿里云数据库创新上云峰会亮点剧透
|
存储 SQL 分布式计算
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
10月23日数据湖高峰论坛上,阿里巴巴集团副总裁、阿里云智能数据库产品事业部负责人、达摩院数据库与存储实验室负责人李飞飞表示:“云原生作为云计算领域的关键技术与基础创新,正在加速数据分析全面进入数据库大数据一体化时代”。
4149 0
鱼和熊掌可以兼得,云原生开启“数据库大数据一体化”新时代
|
存储
数据湖的终极奥秘,无招胜有招 |《阿里云数据湖存储解决方案蓝皮书》江湖亮相
作为海量数据存储与分析的重要承载方式的数据湖,从2011年概念诞生至今,已经发展了9个年头。而数据湖是什么?又能为数字化经济带来什么?《阿里云数据湖存储解决方案蓝皮书》将为您揭开数据湖的"江湖"——无招胜有招‘
1583 0
数据湖的终极奥秘,无招胜有招 |《阿里云数据湖存储解决方案蓝皮书》江湖亮相