瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 瑶池数据库微课堂介绍阿里云PolarDB/RDS与ADB的Zero-ETL功能,实现免费、易用、高效的数据同步。内容涵盖OLTP与OLAP的区别、传统ETL存在的问题及Zero-ETL的优势(零成本、高效同步),并演示了从RDS MySQL到AnalyticDB MySQL的具体操作步骤。未来将优化和迭代此功能,提供更好的用户体验。

瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式


内容介绍:

一、Zero-ETL优势介绍

二、功能演示

三、未来规划

 

介绍阿里云瑶池数据库无感数据集成Zero-ETL的产品能力。本次介绍分为两部分,分别为Zero-ETL优势介绍和功能演示。

 

一、Zero-ETL优势介绍

1、OLTP与OLAP

(1)首先,从关系型数据库和数据仓库分析需要Zero-ETL的原因。关系型数据库OLTP是生产业务中必不可少的产品,承载线上核心业务系统的运转,包括注册、登录、交易等,具备事务处理、高并发查询等能力。代表产品是阿里云RDS、阿里云PolarDB。

(2)在线分析型数据库OLAP是专用于统计与分析的产品,擅长复杂的聚合查询、关联查询等,可支持PB级数据量做离线处理和在线运算,代表产品是阿里云AnalyticDB。

2、存在问题

随着业务数据量的增长,用户对数据价值的分析和挖掘需求更加强烈,但在业务数据库中直接进行数据分析。存在以下问题:

(1)TP和AP负载无法隔离,消耗更多资源,并影响到线上业务的正常响应。

(2)TP数据库无法进行多数据源的汇总,不能提供全局的分析视角。

image.png

(3)分析业务的C口通常比较复杂,涉及多聚合运算、多表关联等等,往往在TP中执行较慢或无法执行出结果。因此,AP数据仓库通常作为TP数据库的下游,提供查询加速、多数据汇集、分析等能力。TP数据库中的数据无感高效地同步到AP数仓中,阿里云瑶池数据库无感数据集成Zero-ETL功能可提供最佳选择,Zero-ETL旨在减少数据迁移或转换的复杂程度,让客户专注于上层数据分析。

3、主要优势

Zero-ETL方案主要有三个优势,分别是零成本、应用性好及同步高效。用户无需为同步链路付费,构建数仓成本可降低20%,并通过功能应用性的提升构建数仓效率提升60%。在性能上,Zero-ETL链路性能预计比传统同步链路提升15%。

 

二、功能演示

关于当前的Zero-ETL功能如何使用,以RDS MySQL到AnalyticDB My SQL为例:

首先从ADB实例控制台的实例详情页中点击无感数据集成。

image.png

image.png

点击创建Zero-ETL任务,进入功能配置阶段。

image.png

按照页面步骤,选择原端实例。

image.png

并完成源端和目标端数据库账号的填写后进入下一步。

image.png

选择需要同步的库表对象。在第三步中去完成,主键列、分布列的定义会默认映射原端的组件链信息。

image.png

点击下一步保存任务,进入预检查阶段。此时,该任务已完成预检查,

image.png

点击启动任务,并可开始数据同步。

 

三、未来规划

目前AnalyticDB产品针对新用户提供免费试用实例,对Zero-ETL功能感兴趣的用户可前往开通实例并进行体验。后续阿里云瑶池数据库也会持续对这个功能做进一步的优化与迭代。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
|
6月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
存储 人工智能 机器人
207 0
|
7月前
|
SQL 人工智能 Java
用 LangChain4j+Ollama 打造 Text-to-SQL AI Agent,数据库想问就问
本文介绍了如何利用AI技术简化SQL查询操作,让不懂技术的用户也能轻松从数据库中获取信息。通过本地部署PostgreSQL数据库和Ollama模型,结合Java代码,实现将自然语言问题自动转换为SQL查询,并将结果以易懂的方式呈现。整个流程简单直观,适合初学者动手实践,同时也展示了AI在数据查询中的潜力与局限。
939 8
|
8月前
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
8月前
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
阿里云PolarDB凭借全球首创基于CXL Switch的分布式内存池技术,在SIGMOD 2025上荣获工业赛道“最佳论文奖”,连续两年蝉联该顶会最高奖项。其创新架构PolarCXLMem打破传统RDMA技术瓶颈,性能提升2.1倍,并已落地应用于内存池化场景,推动大模型推理与多模态存储发展,展现CXL Switch在高速互联中的巨大潜力。
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
|
9月前
|
关系型数据库 分布式数据库 数据库
再获殊荣,阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
内存池化技术新突破,阿里云PolarDB蝉联SIGMOD最佳论文奖
|
9月前
|
Cloud Native 关系型数据库 分布式数据库
客户说|知乎基于阿里云PolarDB,实现最大数据库集群云原生升级
近日,知乎最大的风控业务数据库集群,基于阿里云瑶池数据库完成了云原生技术架构的升级。此次升级不仅显著提升了系统的高可用性和性能上限,还大幅降低了底层资源成本。
|
10月前
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
490 4