PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。

什么是Zero-ETL

  • ETL 是将上层业务系统的数据经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库的处理过程,目的是将上游分散的数据整合到目标端数仓,通过在数仓中做进一步的计算分析,来为业务做有效的商业决策。

   开发传统的ETL流程,具备以下挑战:

  1. 资源成本增加:不同的数据源可能需要不同的ETL工具,搭建ETL链路会产生额外的资源成本
  2. 系统复杂度增加:用户需要自行维护ETL工具,增加了运维难度,无法专注于业务应用的开发
  3. 数据实时性降低:部分ETL流程涉及周期性的批量更新,在近实时的应用场景中,无法做到快速产出分析结果。

    Zero-ETL是旨在为用户减少不同数据源间人工迁移或同步的工作量,降低ETL的成本和复杂度,让用户不需要开发和关注ETL流程,专注于上层的应用开发和数据分析。

阿里云瑶池数据库提供的Zero-ETL服务

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案,数据接入成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

阿里云云原生数据仓库AnalyticDB MySQL基于湖仓一体架构打造,高度兼容MySQL,毫秒级更新,亚秒级查询,可以同时提供高吞吐离线处理和高性能在线分析。

针对在AnalyticDB MySQL中分析PolarDB的数据,我们提供以下两种Zero-ETL功能。

  • 联邦分析:通过该功能可以免费PolarDB MySQL的数据实时同步到AnalyticDB MySQL中,只需要简单配置源端和目标端,便可完成同步任务的构建,用户无需额外再维护其他的数据同步链路;数据进入AnalyticDB MySQL后可以直接用ADB SparkXIHE计算引擎进行查询和分析

image.png

  • 元数据自动同步:通过该功能,用户在PolarDB-X中开启列存表后,可以自动将列存表的元数据同步到AnalyticDB MySQL中,立即在ADB中分析PolarDB-X中的数据,并可将PolarDB-X中的表和其他数据源的表进行关联查询分析。


image.png

如何使用阿里云瑶池数据库Zero-ETL服务

PolarDB MySQL联邦分析

PolarDB MySQL概览页-「联邦分析」进入该功能

  • 新建联邦分析链路:选择源端实例和目标端实例,默认同步整实例,打开「高级配置」后可以选择库表对象,也可以对大表进行分区键设置。

image.png

image.png

  • 编辑链路、查看链路:支持修改库表对象等,支持查看联邦分析任务的配置详情

image.png

PolarDB-X 元数据自动发现

PolarDB-X 2.0控制台-「列存引擎」页面进入该功能

  • 「列存引擎」页面,创建列存引擎,并「开通ADB湖仓」,此处可选择同地域下的已有实例

image.png

image.png

  • 完成开通,在目标端AnalyticDB MySQL实例中-「数据接入」-「元数据发现」中会自动创建元数据同步任务;并可通过「SQL开发」、DMS或其他客户端工具,在实例中对源端PolarDB-X列存表进行查询分析。

image.png

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案和传统的数据同步链路方案对比来看,链路成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

点击了解更多Zero-ETL功能

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
SQL 运维 关系型数据库
基于AnalyticDB PostgreSQL的实时物化视图研发实践
AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。
353 1
|
23天前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之PolarDB影响下游的binlogl同步如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据,还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据,还支持算子下推吗
107 2
|
2月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
275 1
|
3月前
|
SQL 人工智能 NoSQL
向量数据库测试写入查看数据
向量数据库测试写入查看数据
98 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
79 0
|
4月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
37 0
|
4月前
|
关系型数据库 OLAP 数据库连接
AnalyticDB PostgreSQL版目前不支持使用外部数据包装器
AnalyticDB PostgreSQL版目前不支持使用外部数据包装器
85 3
|
16天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
23天前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。

相关产品

  • 云原生数据库 PolarDB