瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 瑶池数据库微课堂介绍阿里云PolarDB/RDS与ADB的Zero-ETL功能,实现免费、易用、高效的数据同步。内容涵盖OLTP与OLAP的区别、传统ETL存在的问题及Zero-ETL的优势(零成本、高效同步),并演示了从RDS MySQL到AnalyticDB MySQL的具体操作步骤。未来将优化和迭代此功能,提供更好的用户体验。

瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式


内容介绍:

一、Zero-ETL优势介绍

二、功能演示

三、未来规划

 

介绍阿里云瑶池数据库无感数据集成Zero-ETL的产品能力。本次介绍分为两部分,分别为Zero-ETL优势介绍和功能演示。

 

一、Zero-ETL优势介绍

1、OLTP与OLAP

(1)首先,从关系型数据库和数据仓库分析需要Zero-ETL的原因。关系型数据库OLTP是生产业务中必不可少的产品,承载线上核心业务系统的运转,包括注册、登录、交易等,具备事务处理、高并发查询等能力。代表产品是阿里云RDS、阿里云PolarDB。

(2)在线分析型数据库OLAP是专用于统计与分析的产品,擅长复杂的聚合查询、关联查询等,可支持PB级数据量做离线处理和在线运算,代表产品是阿里云AnalyticDB。

2、存在问题

随着业务数据量的增长,用户对数据价值的分析和挖掘需求更加强烈,但在业务数据库中直接进行数据分析。存在以下问题:

(1)TP和AP负载无法隔离,消耗更多资源,并影响到线上业务的正常响应。

(2)TP数据库无法进行多数据源的汇总,不能提供全局的分析视角。

image.png

(3)分析业务的C口通常比较复杂,涉及多聚合运算、多表关联等等,往往在TP中执行较慢或无法执行出结果。因此,AP数据仓库通常作为TP数据库的下游,提供查询加速、多数据汇集、分析等能力。TP数据库中的数据无感高效地同步到AP数仓中,阿里云瑶池数据库无感数据集成Zero-ETL功能可提供最佳选择,Zero-ETL旨在减少数据迁移或转换的复杂程度,让客户专注于上层数据分析。

3、主要优势

Zero-ETL方案主要有三个优势,分别是零成本、应用性好及同步高效。用户无需为同步链路付费,构建数仓成本可降低20%,并通过功能应用性的提升构建数仓效率提升60%。在性能上,Zero-ETL链路性能预计比传统同步链路提升15%。

 

二、功能演示

关于当前的Zero-ETL功能如何使用,以RDS MySQL到AnalyticDB My SQL为例:

首先从ADB实例控制台的实例详情页中点击无感数据集成。

image.png

image.png

点击创建Zero-ETL任务,进入功能配置阶段。

image.png

按照页面步骤,选择原端实例。

image.png

并完成源端和目标端数据库账号的填写后进入下一步。

image.png

选择需要同步的库表对象。在第三步中去完成,主键列、分布列的定义会默认映射原端的组件链信息。

image.png

点击下一步保存任务,进入预检查阶段。此时,该任务已完成预检查,

image.png

点击启动任务,并可开始数据同步。

 

三、未来规划

目前AnalyticDB产品针对新用户提供免费试用实例,对Zero-ETL功能感兴趣的用户可前往开通实例并进行体验。后续阿里云瑶池数据库也会持续对这个功能做进一步的优化与迭代。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
打赏
0
2
2
1
1028
分享
相关文章
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
58 1
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
36 1
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
99 0
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
46 0
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
22 0
PolarDB开源数据库进阶课7 实时流式归档
本文介绍了如何在PolarDB RAC一写多读集群中实现实时归档,确保WAL日志的及时备份。实验依赖于Docker容器和loop设备模拟的共享存储环境。通过配置主节点的`pg_hba.conf`、创建复制槽以及使用`pg_receivewal`工具,实现实时接收并归档WAL文件。此外,还提供了详细的命令行帮助和相关文档链接,方便读者参考和操作。注意:如果已搭建容灾节点,则无需重复进行实时归档。
13 0
云数据库实战:基于阿里云RDS的Python应用开发与优化
在互联网时代,数据驱动的应用已成为企业竞争力的核心。阿里云RDS为开发者提供稳定高效的数据库托管服务,支持多种数据库引擎,具备自动化管理、高可用性和弹性扩展等优势。本文通过Python应用案例,从零开始搭建基于阿里云RDS的数据库应用,详细演示连接、CRUD操作及性能优化与安全管理实践,帮助读者快速上手并提升应用性能。
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
首届全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)圆满收官
首届全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)圆满收官
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等