大咖与小白的日常:高性价比的数据归档解决方案

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

背景

随着企业的数据资料持续积累,为了满足审计合规要求或潜在的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境。

是否有“低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析”? 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于Serverless版共同推出了数据归档能力; 可以面对数据库,实现“灵活低价 + 归档管理 + 高分析性能”的整套数据归档方案。

数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。可以在DMS的解决方案处找到该解决方案;该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力;同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求。

(图1)

AnalyticDB PostgreSQL Serverless版发布,作为全新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析。

(图2)

主流方案能力对比

归档方案

使用OLTP数据库

OSS

传统OLAP引擎

ADB PG Serverless版

价格

较差

优秀

较差

优秀

数据管理

优秀

较差

优秀

优秀

数据查询+分析

中等

较差

优秀

优秀

创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源:

您的业务(事务型)数据库,此为用户主要的归档的数据源;

AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击购买Serverless实例,建议使用按量付费版本。

Note:点击了解更多ADB PG Serverless版本

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;

(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档;

需保证您已登录阿里云账号

第一步:进入归档页面

登录DMS 控制台,如图4所示进入归档解决方案页面;

(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

设置任务名称: 提供数据归档任务的名称;

选择归档目标类型: 选择归档类型为ADB-PG

选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登录DMS确保DMS可搜索到该实例,可通过AnalyticDB的快速开始教程,进行ADB PG实例初始化设置;)

成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;

配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要被备份的数据库,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登录该数据库所在实例,确保元数据被DMS获取;

配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);

配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;

设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;

设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除。

(图5)

(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;。

(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8。

(图8)

视频教程:如何配置数据参数

第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示。

(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登录ADB-PG控制台,查看归档实例;

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示。

(图11)

实例启动之后,可通过用户名和密码登录DMS实例并寻找归档数据库进行分析,如图12。

(图12)

找到归档实例,归档数据库,双击进入数据库后可进行SQL提交,如图13。

(图13)

方案优势 & 总结

对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;

接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜索群组:11700737)进行咨询;

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
5月前
|
存储 人工智能 数据管理
"AI大改造,让NAS焕发新生!智能分类、秒速检索、隐私守护、故障先知……你的数据存储神器全面升级,告别传统,拥抱未来智能NAS新纪元!"
【8月更文挑战第14天】大数据时代催生了对高效数据管理的需求,传统NAS面临挑战。AI技术的应用为NAS带来智能数据分类、内容分析检索、安全防护及预测性维护等功能。通过示例代码展示了AI如何简化数据管理、提升用户体验、保障数据安全及提高系统稳定性。集成AI的NAS正引领数据存储新时代。
117 3
|
7月前
|
关系型数据库 分布式数据库 数据库
阿里云618创新加速季数据库分会场全攻略
2024年阿里云618创新加速季活动已开启,数据库分会场推出多重优惠。RDS MySQL低至1折,部分产品享超值首购优惠,三个月仅需1折,续费也有折扣。此外,每天10点还有限时秒杀活动,云产品低至6.5折。新用户在新人专区购买指定规格可享首年折扣,还有数据库上云组合购优惠和开发者动手实践奖励。企业用户可申请5亿算力补贴,加速数字化转型。更多活动详情和优惠信息,可访问官方活动页面了解。
|
存储 弹性计算 负载均衡
关于阿里云存储产品的感悟和建议
关于阿里云存储产品的感悟和建议
226 1
|
存储 SQL 运维
内附方案|企业级云数据库如何实现增效降本?
破解企业上云、用云面临的数据库增效痛点
15602 1
内附方案|企业级云数据库如何实现增效降本?
|
存储
数据湖的终极奥秘,无招胜有招 |《阿里云数据湖存储解决方案蓝皮书》江湖亮相
作为海量数据存储与分析的重要承载方式的数据湖,从2011年概念诞生至今,已经发展了9个年头。而数据湖是什么?又能为数字化经济带来什么?《阿里云数据湖存储解决方案蓝皮书》将为您揭开数据湖的"江湖"——无招胜有招‘
1583 0
数据湖的终极奥秘,无招胜有招 |《阿里云数据湖存储解决方案蓝皮书》江湖亮相
Uma
|
存储 NoSQL 数据库
【独家直播】洞见数据库前沿 集结阿里云数据库最强阵容 DTCC 2019 八大亮点抢先看
作为DTCC的老朋友和全球领先的云计算厂商,阿里云数据库团队受邀参加本次技术盛会,不仅将派出重量级嘉宾阵容,还会为广大数据库业内人士和行业用户奉上8场精彩议题。下面小编就为大家提前梳理了8大亮点,并附上阿里云议题全集,精彩一网打尽。
Uma
9808 0
|
存储 弹性计算 文件存储
阿里云文件存储助力悦跑圈上云之成功案例
广州悦跑信息科技有限公司是一家专注于通过移动互联网应用以及跑步社交运动和线下赛事活动为中国跑步爱好者提供全方位服务的高科技企业。截止2017年1月,旗下悦跑圈APP用户规模达3000万。   作为典型的O2O的应用悦跑圈需要在服务器端维护海量的核心业务数据并且需要高可用、高可靠和稳定安全的平台来存储数据。
4381 0
|
NoSQL 数据库 MongoDB
2019云栖大会 | 究竟哪款NoSQL数据库最适合你?
当整个世界由IT走向DT时代,数据库领域也发生了巨大变化,作为数据库市场最重要的组成之一,NoSQL数据库已成为企业应用常态,它的一举一动,都影响着成千上万的企业。
5994 0
Uma
|
安全 NoSQL 大数据
DTCC 2019 | NoSQL数据库最新发展趋势 如何拥有居家必备的企业级能力?
摘要:企业IT系统面临层出不穷的新业务,安全,成本等诸多挑战。阿里云NoSQL数据库通过与企业业务深度结合,快速创新,提供最新的技术帮助企业用户迎接挑战,获得金融、社交、直播等众多大客户的信任。本文中,阿里云智能数据库产品事业部高级产品专家朱洁为大家介绍阿里云NoSQL数据库在众多最新领域的创新和技术实践。
Uma
3563 0
|
存储
存储领域的SaaS:期待云存储照进现实
本文讲的是存储领域的SaaS:期待云存储照进现实,SaaS在存储领域中是指“storage as a service(存储即服务)”。云软件的供应商提供的应用可供你使用,以及处理你自己的数据;实际上通常不需要将你的数据挪出你的机房。
957 0