PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验

简介: Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。

什么是Zero-ETL

  • ETL 是将上层业务系统的数据经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库的处理过程,目的是将上游分散的数据整合到目标端数仓,通过在数仓中做进一步的计算分析,来为业务做有效的商业决策。

   开发传统的ETL流程,具备以下挑战:

  1. 资源成本增加:不同的数据源可能需要不同的ETL工具,搭建ETL链路会产生额外的资源成本
  2. 系统复杂度增加:用户需要自行维护ETL工具,增加了运维难度,无法专注于业务应用的开发
  3. 数据实时性降低:部分ETL流程涉及周期性的批量更新,在近实时的应用场景中,无法做到快速产出分析结果。

    Zero-ETL是旨在为用户减少不同数据源间人工迁移或同步的工作量,降低ETL的成本和复杂度,让用户不需要开发和关注ETL流程,专注于上层的应用开发和数据分析。

阿里云瑶池数据库提供的Zero-ETL服务

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案,数据接入成本可下降30%,构建数据仓库的效率可提升60%。

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

阿里云云原生数据仓库AnalyticDB MySQL基于湖仓一体架构打造,高度兼容MySQL,毫秒级更新,亚秒级查询,可以同时提供高吞吐离线处理和高性能在线分析。

针对在AnalyticDB MySQL中分析PolarDB的数据,我们提供以下两种Zero-ETL功能。

  • 联邦分析:通过该功能可以免费将PolarDB MySQL的数据实时同步到AnalyticDB MySQL中,只需要简单配置源端和目标端,便可完成同步任务的构建,用户无需额外再维护其他的数据同步链路;数据进入AnalyticDB MySQL后可以直接用ADB Spark或XIHE计算引擎进行查询和分析

image.png

  • 元数据自动同步:通过该功能,用户在PolarDB-X中开启列存表后,可以自动将列存表的元数据同步到AnalyticDB MySQL中,立即在ADB中分析PolarDB-X中的数据,并可将PolarDB-X中的表和其他数据源的表进行关联查询分析。


image.png

如何使用阿里云瑶池数据库Zero-ETL服务

PolarDB MySQL联邦分析

PolarDB MySQL概览页-「联邦分析」进入该功能

  • 新建联邦分析链路:选择源端实例和目标端实例,默认同步整实例,打开「高级配置」后可以选择库表对象,也可以对大表进行分区键设置。

image.png

image.png

  • 编辑链路、查看链路:支持修改库表对象等,支持查看联邦分析任务的配置详情

image.png

PolarDB-X 元数据自动发现

PolarDB-X 2.0控制台-「列存引擎」页面进入该功能

  • 「列存引擎」页面,创建列存引擎,并「开通ADB湖仓」,此处可选择同地域下的已有实例

image.png

image.png

  • 完成开通,在目标端AnalyticDB MySQL实例中-「数据接入」-「元数据发现」中会自动创建元数据同步任务;并可通过「SQL开发」、DMS或其他客户端工具,在实例中对源端PolarDB-X列存表进行查询分析。

image.png

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案和传统的数据同步链路方案对比来看,链路成本可下降30%,构建数据仓库的效率可提升60%。

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

点击了解更多Zero-ETL功能

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
人工智能 关系型数据库 分布式数据库
拥抱Data+AI|“全球第一”雅迪如何实现智能营销?DMS+PolarDB注入数据新活力
针对雅迪“云销通App”的需求与痛点,本文将介绍阿里云瑶池数据库DMS+PolarDB for AI提供的一站式Data+AI解决方案,助力销售人员高效用数,全面提升销售管理效率。
|
存储 关系型数据库 MySQL
亿级数据秒级响应:PolarDB MySQL HTAP实时分析方案设计与压测报告
PolarDB MySQL HTAP方案实现亿级数据秒级响应,支持高并发事务与实时分析。通过行列混存、智能路由与资源隔离,满足电商、金融等场景的实时报表、决策需求,降低架构复杂度与运维成本。
|
数据挖掘 OLAP OLTP
体验AnalyticDB无感集成(Zero-ETL)下的一站式数据分析,完成任务可领取300社区积分兑换各种商城好礼!
瑶池数据库的无感数据集成实现秒级同步,性能提升15%。借助AnalyticDB的Zero-ETL功能,快速搭建OLTP与OLAP同步链路,一站式管理数据分析。参与活动完成任务即可领取300社区积分,还有机会抽取红酒收纳箱、键盘鼠标垫、福禄寿淘公仔等好礼!
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
1789 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
存储 关系型数据库 分布式数据库
PolarDB PG 版冷热数据分层功能介绍
本文介绍了云原生数据库PolarDB PG版的冷热数据分层存储功能,涵盖其原理、特性及最佳实践。冷热分层存储通过将冷数据归档至OSS(对象存储服务),实现低成本高效存储,同时保持SQL操作透明性和性能优化。支持多种分层模式,如表与索引分层、大字段独立归档等,并提供压缩和缓存机制以提升访问速度。此外,还介绍了如何通过DDL语句轻松转存数据至OSS,以及一系列最佳实践,包括自动冷热分层、无锁表转存和一键转存等功能。
1249 36
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.1 快速构建“海量逼真”数据
本文介绍了如何使用PostgreSQL和PolarDB快速生成“海量且逼真”的测试数据,以满足不同业务场景的需求。传统数据库测试依赖标准套件(如TPC-C、TPC-H),难以生成符合特定业务特征的复杂数据。通过自定义函数(如`gen_random_int`、`gen_random_string`等)、SRF函数(如`generate_series`)和pgbench工具,可以高效生成大规模、高仿真度的数据,并进行压力测试。文中还提供了多个示例代码展示.
548 7
|
关系型数据库 OLAP 分布式数据库
瑶池数据库微课堂|PolarDB/RDS+ADB Zero-ETL:一种免费、易用、高效的数据同步方式
瑶池数据库微课堂介绍阿里云PolarDB/RDS与ADB的Zero-ETL功能,实现免费、易用、高效的数据同步。内容涵盖OLTP与OLAP的区别、传统ETL存在的问题及Zero-ETL的优势(零成本、高效同步),并演示了从RDS MySQL到AnalyticDB MySQL的具体操作步骤。未来将优化和迭代此功能,提供更好的用户体验。
431 2

相关产品

  • 云原生数据库 PolarDB