高性价比的数据归档解决方案(DMS + AnalyitcDB PostgreSQL)

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 发布全新数据归档方案,依托DMS + AnalyticDB PostgreSQL Serverless版本,帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析

背景


随着企业的数据资料持续积累,为了满足审计合规要求或潜在的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本居高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境。


是否有“低价格实现海量数据的持久化,还可以对归档数据进行完善数据管理高效查询,并执行分析”的解决方案? 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于Serverless版共同推出了数据归档能力; 可以面对数据库,实现“灵活低价 + 归档管理 + 高分析性能”的整套数据归档方案。


数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。可以在DMS的解决方案处找到该解决方案;


解决方案优势:

  1. 支持用户灵活定制面向生产数据库的数据归档逻辑: 支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力;
  2. 支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求。

图1.png(图1)

AnalyticDB PostgreSQL Serverless版可作为归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停

方案优势:

  1. 大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。
  2. 同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势
  3. 对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用。

ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析。

55c7aa40-36fc-4400-99c4-ba2ba68dcbff.png(图2)

主流方案能力对比

归档方案

使用OLTP数据库

OSS

传统OLAP引擎

ADB PG Serverless版

价格

较差

优秀

较差

优秀

数据管理

优秀

较差

优秀

优秀

数据查询+分析

中等

较差

优秀

优秀


使用OLTP(事务性)数据库作为归档引擎

优势: 事务型数据库可以最近似的进行业务分类管理,对于之后的审计,查询等服务非常友好;

不足:整体的数据库数据增长会导致TP数据库的查询性能收到影响,另外由于TP数据库自身的存储介质较好,会无法避免的导致存储的成本提升;


直接使用OSS作为归档引擎

优势:OSS以灵活的存储结构和廉价的存储是非常适合作为归档的引擎

不足:是由于松散的文件存储结构,导致在对数据审计,分析,查询有诉求的场景下,较为复杂;同时对于文件的归档管理需要用户额外构建数据湖的元数据管理,这会增加一些技术成本和未来的查询复杂性;


使用传统的OLAP引擎作为归档

优势: 传统的OLAP引擎可以很好的对结构化数据进行归档,通过表结构的建设可以保证数据库式的管理模式,对于数据业务可以做到最大程度的保留,对于查询分析能力很出色;

不足:计算和存储的常置成本较高,对于低频访问的历史数据来说,保有成本过重;


使用DMS + ADB PG(Serverless版本)归档 (推荐)

优势: 保有OLAP引擎的所有优点,对于分析,数据管理,审计查询等都可以做到高性能;同时在成本侧,提供了按需启停,即计算仅在归档和分析时可以按需打开;这保证了极低的空置成本; 另外对于Serverless存储,使用了共享存储,相较于主流OLAP引擎大幅降低了成本;

不足: 目前存储成本依然高于oss,ADB PG即将在S2推出冷存储和归档存储,价格将进一步得到大幅下降;


创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源:

您的业务(事务型)数据库,此为用户主要的归档的数据源;

AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击购买Serverless实例,建议使用按量付费版本。

Note:点击了解更多ADB PG Serverless版本

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;

🤮.png(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档; 

需保证您已登录阿里云账号

第一步:进入归档页面

登录DMS 控制台,如图4所示进入归档解决方案页面;

t4.png(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

设置任务名称: 提供数据归档任务的名称;

选择归档目标类型: 选择归档类型为ADB-PG

选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登录DMS确保DMS可搜索到该实例,可通过AnalyticDB的快速开始教程,进行ADB PG实例初始化设置;)

成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;

配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要被备份的数据库,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登录该数据库所在实例,确保元数据被DMS获取;

配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);

配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;

设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;

设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除。

t5.png(图5)

t6.png(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;。

t7.png(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建),并在计划的下一次计划的时间执行;如图8。

t8.png(图8)

视频教程:如何配置数据参数(点击下载)



第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

t9.png(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示。

t10.png(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登录ADB-PG控制台,查看归档实例;

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示。

t11.png(图11)

实例启动之后,可通过用户名和密码登录DMS实例并寻找归档数据库进行分析,如图12。

t12.png(图12)

找到归档实例,归档数据库,双击进入数据库后可进行SQL提交,如图13。

t13.png(图13)


方案优势 & 总结


对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;


接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜索群组:11700737)进行咨询;

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
102 1
|
4月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
5天前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
20天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖,本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”,助力提升全民数据素养。
127 0
【荣誉奖项】荣获2024数据治理优秀产品!瓴羊Dataphin联合DAMA发布数据管理技能认证
|
5月前
|
消息中间件 Java 关系型数据库
实时计算 Flink版操作报错合集之从 PostgreSQL 读取数据并写入 Kafka 时,遇到 "initial slot snapshot too large" 的错误,该怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
1007 0
|
22天前
|
NoSQL 数据管理 关系型数据库
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理
|
1月前
|
数据采集 安全 数据管理
通信行业数据治理:如何实现高效、安全的数据管理?
在未来的发展中,通信行业的企业应加强数据治理意识,提高数据治理能力;同时,积极开展跨行业的合作创新,共同推动行业的繁荣与发展。相信在不久的将来,通信行业将迎来更加美好的明天。
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
163 1
|
3月前
|
Java 测试技术 容器
从零到英雄:Struts 2 最佳实践——你的Web应用开发超级变身指南!
【8月更文挑战第31天】《Struts 2 最佳实践:从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式,再到性能优化与测试,本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例,帮助读者掌握 Struts 2 的核心功能,并确保应用的安全性和可维护性。无论是在项目初期还是后期运维,本书都是不可或缺的参考指南。
49 0
|
3月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓:从零开始构建自动化数据提取、转换与加载(ETL)流程,实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台,用于高效完成数据提取、转换和加载(ETL)任务。本文通过简单示例介绍 SSIS 的基本使用方法,包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT),然后在 Visual Studio 中创建新的 SSIS 项目,通过添加控制流和数据流组件,实现从 CSV 文件到 SQL Server 数据库的数据迁移。
146 0

相关产品

  • 数据管理