DMS + AnalyitcDB PostgreSQL 联合推出“高性价比” 的【数据归档】解决方案

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 背景随着企业的数据资料持续积累,为了满足审计合规要求或未来的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境;是否有“即满足超低的价格实现海量数据的持久化,又可以对归档数据进行完善管理,高效的寻回,查看并进行分析”; 在这个背景下, DMS + AnalyticDB PostgreSQL(简

背景

随着企业的数据资料持续积累,为了满足审计合规要求或未来的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境;

是否有“即满足超低的价格实现海量数据的持久化,又可以对归档数据进行完善管理,高效的寻回,查看并进行分析”; 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于最新的Serverless版共同推出了数据归档能力; 可以面对数据库,实现 灵活低价 + 归档管理 + 高分析性能 的整套数据归档方案; 

数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。 可以在DMS的解决方案处找到该解决方案; 该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力; 同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求;

(图1)

AnalyticDB PostgreSQL Serverless版本于9月被集成为最新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停。 这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析;

(图2)

创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源: 

  1. 您的业务(事务型)数据库,此为用户主要的归档的的数据源; 
  2. AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击 购买Serverless实例 ,建议使用 按量付费 版本; 

Note:点击了解更多ADB PG Serverless版本;

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示; 

(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档; 

需保证您已登陆阿里云账号

第一步:进入归档页面

登陆DMS 控制台,如图4所示进入归档解决方案页面;

(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

  • 设置任务名称: 提供数据归档任务的名称; 
  • 选择归档目标类型: 选择归档类型为ADB-PG
  • 选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登陆DMS确保DMS可搜索到该实例,可通过AnalyticDB的 快速开始 教程,进行ADB PG实例初始化设置;)
  • 成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用; 
  • 配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要 被备份的数据库 ,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登陆该数据库所在实例,确保元数据被DMS获取;
  • 配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选); 
  • 配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置; 
  • 设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等; 
  • 设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除; 

(图5)

(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示; 

(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8;

(图8)

视频教程: 如果配置数据参数; 

归档变量名配置.mp4

第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示;

(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登陆ADB-PG控制台,查看归档实例; 

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示;

(图11)

实例启动之后,可通过用户名和密码登陆DMS实例并寻找归档数据库进行分析,如图12

(图12)

找到归档实例,归档数据库,双击进入进入数据库后可进行SQL提交,如图13

(图13)

方案优势 & 总结

对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求; 

接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜搜群组:11700737)进行咨询; 

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
拥抱Data+AI|“全球第一”雅迪如何实现智能营销?DMS+PolarDB注入数据新活力
针对雅迪“云销通App”的需求与痛点,本文将介绍阿里云瑶池数据库DMS+PolarDB for AI提供的一站式Data+AI解决方案,助力销售人员高效用数,全面提升销售管理效率。
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
171 1
【赵渝强老师】PostgreSQL的数据文件
PostgreSQL的物理存储结构主要包括数据文件、日志文件等。数据文件按oid命名,超过1G时自动拆分。通过查询数据库和表的oid,可定位到具体的数据文件。例如,查询数据库oid后,再查询特定表的oid及relfilenode,即可找到该表对应的数据文件位置。
130 1
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
259 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
329 1
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
76 0
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
1520 0