PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验

简介: Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。

什么是Zero-ETL

  • ETL 是将上层业务系统的数据经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库的处理过程,目的是将上游分散的数据整合到目标端数仓,通过在数仓中做进一步的计算分析,来为业务做有效的商业决策。

   开发传统的ETL流程,具备以下挑战:

  1. 资源成本增加:不同的数据源可能需要不同的ETL工具,搭建ETL链路会产生额外的资源成本
  2. 系统复杂度增加:用户需要自行维护ETL工具,增加了运维难度,无法专注于业务应用的开发
  3. 数据实时性降低:部分ETL流程涉及周期性的批量更新,在近实时的应用场景中,无法做到快速产出分析结果。

    Zero-ETL是旨在为用户减少不同数据源间人工迁移或同步的工作量,降低ETL的成本和复杂度,让用户不需要开发和关注ETL流程,专注于上层的应用开发和数据分析。

阿里云瑶池数据库提供的Zero-ETL服务

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案,数据接入成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

阿里云云原生数据仓库AnalyticDB MySQL基于湖仓一体架构打造,高度兼容MySQL,毫秒级更新,亚秒级查询,可以同时提供高吞吐离线处理和高性能在线分析。

针对在AnalyticDB MySQL中分析PolarDB的数据,我们提供以下两种Zero-ETL功能。

  • 联邦分析:通过该功能可以免费PolarDB MySQL的数据实时同步到AnalyticDB MySQL中,只需要简单配置源端和目标端,便可完成同步任务的构建,用户无需额外再维护其他的数据同步链路;数据进入AnalyticDB MySQL后可以直接用ADB SparkXIHE计算引擎进行查询和分析

image.png

  • 元数据自动同步:通过该功能,用户在PolarDB-X中开启列存表后,可以自动将列存表的元数据同步到AnalyticDB MySQL中,立即在ADB中分析PolarDB-X中的数据,并可将PolarDB-X中的表和其他数据源的表进行关联查询分析。


image.png

如何使用阿里云瑶池数据库Zero-ETL服务

PolarDB MySQL联邦分析

PolarDB MySQL概览页-「联邦分析」进入该功能

  • 新建联邦分析链路:选择源端实例和目标端实例,默认同步整实例,打开「高级配置」后可以选择库表对象,也可以对大表进行分区键设置。

image.png

image.png

  • 编辑链路、查看链路:支持修改库表对象等,支持查看联邦分析任务的配置详情

image.png

PolarDB-X 元数据自动发现

PolarDB-X 2.0控制台-「列存引擎」页面进入该功能

  • 「列存引擎」页面,创建列存引擎,并「开通ADB湖仓」,此处可选择同地域下的已有实例

image.png

image.png

  • 完成开通,在目标端AnalyticDB MySQL实例中-「数据接入」-「元数据发现」中会自动创建元数据同步任务;并可通过「SQL开发」、DMS或其他客户端工具,在实例中对源端PolarDB-X列存表进行查询分析。

image.png

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案和传统的数据同步链路方案对比来看,链路成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

点击了解更多Zero-ETL功能

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2天前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
6月前
|
缓存 关系型数据库 Serverless
数据库内核那些事,PolarDB HTAP Serverless,打造经济易用的实时分析系统
下本从IMCI Serverless核心优势角度的介绍各优化工作内容。
数据库内核那些事,PolarDB HTAP Serverless,打造经济易用的实时分析系统
|
8月前
|
SQL 关系型数据库 MySQL
边锋 x AnalyticDB MySQL:打造一站式游戏数据分析平台
杭州边锋网络技术有限公司是国内领先的休闲游戏开发商、运营商、发行商。20余年来,边锋网络一直是中国棋牌游戏的开拓者和变革者。  边锋网络市场覆盖20余个省份,注册用户过亿,月活跃用户上千万,是国家级重点软件企业(一类)。公司大数据分析系统"反应堆"目前支持着包括雀神广东麻将、边锋斗地主、蜀山四川麻将、功夫川麻等10余款休闲游戏产品;
|
运维 Cloud Native 关系型数据库
今日14点开播!云原生AnalyticDB MySQL湖仓版如何支撑「DAS」高吞吐入湖和高性能查询
《数据库风向标》是一档聚焦数据库新趋势与新技术的视频栏目,节目每期会请到几位资深技术大咖,与大家共话数据库热点话题。
今日14点开播!云原生AnalyticDB MySQL湖仓版如何支撑「DAS」高吞吐入湖和高性能查询
|
存储 分布式计算 Cloud Native
重磅发布|AnalyticDB MySQL湖仓版公测发布:从湖到仓,打造云原生一站式数据分析平台
云原生数据仓库产品AnalyticDB MySQL数仓版,是阿里云基于集团电商双11业务百亿次在线分析的最佳实践,推出的业界首款兼容MySQL协议,且性能全球第一(TPC-DS 10TB)的云数据仓库产品。企业只需要招一些具备SQL技能的数据分析师,搭配上一个QuickBI/DataV/自研可视化报表,就可以快速将企业的关键指标实时可视化展示,帮助企业转型成数据驱动决策的公司。
重磅发布|AnalyticDB MySQL湖仓版公测发布:从湖到仓,打造云原生一站式数据分析平台
|
存储 SQL 关系型数据库
DMS + AnalyitcDB PostgreSQL 联合推出“高性价比” 的【数据归档】解决方案
背景随着企业的数据资料持续积累,为了满足审计合规要求或未来的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境;是否有“即满足超低的价格实现海量数据的持久化,又可以对归档数据进行完善管理,高效的寻回,查看并进行分析”; 在这个背景下, DMS + AnalyticDB PostgreSQL(简
DMS + AnalyitcDB PostgreSQL 联合推出“高性价比” 的【数据归档】解决方案
|
存储 关系型数据库 数据管理
【最佳实践】高性价比的数据归档解决方案(DMS + AnalyticDB PostgreSQL)
发布全新数据归档方案,依托DMS + AnalyticDB PostgreSQL Serverless版本,帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析
【最佳实践】高性价比的数据归档解决方案(DMS + AnalyticDB PostgreSQL)
|
SQL 弹性计算 关系型数据库
实验报告: PolarDB MySQL HTAP:实时数据分析加速
实验过程中忽略了在PolarDB mysql集群设置时开启行存/列存自动引流功能,发现开启这个功能后,如果会话use_imci_engine变量设置为off,单表分析的查询要慢不少。
501 0
实验报告: PolarDB MySQL HTAP:实时数据分析加速
|
存储 关系型数据库 数据挖掘
一份【疫情礼包】请查收,云数据仓库AnalyticDB PostgreSQL为中国企业加油
疫情肆虐下,企业的生存面临着前所未有的挑战。 AnalyticDB PostgreSQL 希望为中国企业贡献一份力量!
344 1
|
存储 运维 Cloud Native
2022年开年首发!AnalyticDB PostgreSQL全新云原生实例正式发布,全量存算分离,提供秒级弹性,按需存储等产品能力!
云原生数据仓库AnalyticDB PostgreSQL版(简称ADB PG) 基于全新云原生架构,开放Serverless版本实例。本文介绍了新版本的主要产品特性及适配场景。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 云原生数据仓库 AnalyticDB PostgreSQL版