背景
随着企业的数据资料持续积累,为了满足审计合规要求或未来的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境;
是否有“即满足超低的价格实现海量数据的持久化,又可以对归档数据进行完善管理,高效的寻回,查看并进行分析”; 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于最新的Serverless版共同推出了数据归档能力; 可以面对数据库,实现 灵活低价 + 归档管理 + 高分析性能 的整套数据归档方案;
数据归档介绍
功能介绍
DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。 可以在DMS的解决方案处找到该解决方案; 该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力; 同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求;
(图1)
AnalyticDB PostgreSQL Serverless版本于9月被集成为最新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停。 这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析;
(图2)
创建您的归档任务
资源要求
为实现数据归档,用户需要确认保有以下资源:
-
您的业务(事务型)数据库,此为用户主要的归档的的数据源;
-
AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击 购买Serverless实例 ,建议使用 按量付费 版本;
Note:点击了解更多ADB PG Serverless版本;
归档流程介绍
数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;
(图3)
当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档;
需保证您已登陆阿里云账号
第一步:进入归档页面
登陆DMS 控制台,如图4所示进入归档解决方案页面;
(图4)
第二步: 创建归档任务
点击【数据归档】按钮,配置数据归档任务;如图5~7;
-
设置任务名称: 提供数据归档任务的名称;
-
选择归档目标类型: 选择归档类型为ADB-PG
-
选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登陆DMS确保DMS可搜索到该实例,可通过AnalyticDB的 快速开始 教程,进行ADB PG实例初始化设置;)
-
成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;
-
配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要 被备份的数据库 ,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登陆该数据库所在实例,确保元数据被DMS获取;
-
配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);
-
配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;
-
设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;
-
设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除;
(图5)
(图6)
任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;
(图7)
提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8;
(图8)
视频教程: 如果配置数据参数;
第三步: 归档任务管理
在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9
(图9)
对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示;
(图10)
第四步: 查看归档数据并进行分析
当归档完成后,若您需要对归档数据进行分析,可登陆ADB-PG控制台,查看归档实例;
若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示;
(图11)
实例启动之后,可通过用户名和密码登陆DMS实例并寻找归档数据库进行分析,如图12
(图12)
找到归档实例,归档数据库,双击进入进入数据库后可进行SQL提交,如图13
(图13)
方案优势 & 总结
对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;
接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜搜群组:11700737)进行咨询;