PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。

什么是Zero-ETL

  • ETL 是将上层业务系统的数据经过提取(Extract)、转换清洗(Transform)、加载(Load)到数据仓库的处理过程,目的是将上游分散的数据整合到目标端数仓,通过在数仓中做进一步的计算分析,来为业务做有效的商业决策。

   开发传统的ETL流程,具备以下挑战:

  1. 资源成本增加:不同的数据源可能需要不同的ETL工具,搭建ETL链路会产生额外的资源成本
  2. 系统复杂度增加:用户需要自行维护ETL工具,增加了运维难度,无法专注于业务应用的开发
  3. 数据实时性降低:部分ETL流程涉及周期性的批量更新,在近实时的应用场景中,无法做到快速产出分析结果。

    Zero-ETL是旨在为用户减少不同数据源间人工迁移或同步的工作量,降低ETL的成本和复杂度,让用户不需要开发和关注ETL流程,专注于上层的应用开发和数据分析。

阿里云瑶池数据库提供的Zero-ETL服务

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案,数据接入成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

阿里云云原生数据仓库AnalyticDB MySQL基于湖仓一体架构打造,高度兼容MySQL,毫秒级更新,亚秒级查询,可以同时提供高吞吐离线处理和高性能在线分析。

针对在AnalyticDB MySQL中分析PolarDB的数据,我们提供以下两种Zero-ETL功能。

  • 联邦分析:通过该功能可以免费PolarDB MySQL的数据实时同步到AnalyticDB MySQL中,只需要简单配置源端和目标端,便可完成同步任务的构建,用户无需额外再维护其他的数据同步链路;数据进入AnalyticDB MySQL后可以直接用ADB SparkXIHE计算引擎进行查询和分析

image.png

  • 元数据自动同步:通过该功能,用户在PolarDB-X中开启列存表后,可以自动将列存表的元数据同步到AnalyticDB MySQL中,立即在ADB中分析PolarDB-X中的数据,并可将PolarDB-X中的表和其他数据源的表进行关联查询分析。


image.png

如何使用阿里云瑶池数据库Zero-ETL服务

PolarDB MySQL联邦分析

PolarDB MySQL概览页-「联邦分析」进入该功能

  • 新建联邦分析链路:选择源端实例和目标端实例,默认同步整实例,打开「高级配置」后可以选择库表对象,也可以对大表进行分区键设置。

image.png

image.png

  • 编辑链路、查看链路:支持修改库表对象等,支持查看联邦分析任务的配置详情

image.png

PolarDB-X 元数据自动发现

PolarDB-X 2.0控制台-「列存引擎」页面进入该功能

  • 「列存引擎」页面,创建列存引擎,并「开通ADB湖仓」,此处可选择同地域下的已有实例

image.png

image.png

  • 完成开通,在目标端AnalyticDB MySQL实例中-「数据接入」-「元数据发现」中会自动创建元数据同步任务;并可通过「SQL开发」、DMS或其他客户端工具,在实例中对源端PolarDB-X列存表进行查询分析。

image.png

Zero-ETL优势

阿里云瑶池数据库Zero-ETL旨在实现事务处理和数据分析一体化,实现建仓成本的降低,建仓效率的提升。

目前使用Zero-ETL方案和传统的数据同步链路方案对比来看,链路成本可下降30%,构建数据仓库的效率可提升60%

总结来看,Zero-ETL的优势如下:

零成本:提供低成本的数据接入链路,用户可免费或极低成本实现在AnalyticDB中对上游PolarDB数据进行分析

易用性好:无需创建和维护执行ETL(提取、转换、加载操作)的复杂数据管道,仅需选择源端数据和目标端实例,自动创建实时数据同步链路,减少构建和管理数据管道所带来的挑战,专注上层应用开发

多源汇集:Zero-ETL的目标端可以提供全局视角,将多个数据源实例汇集到目标端进行复杂分析、关联查询等

点击了解更多Zero-ETL功能

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
3月前
|
SQL 运维 Oracle
【迁移秘籍揭晓】ADB如何助你一臂之力,轻松玩转Oracle至ADB的数据大转移?
【8月更文挑战第27天】ADB(Autonomous Database)是由甲骨文公司推出的自动化的数据库服务,它极大简化了数据库的运维工作。在从传统Oracle数据库升级至ADB的过程中,数据迁移至关重要。
66 0
|
2月前
|
机器学习/深度学习 数据可视化 数据挖掘
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
本文探讨了如何通过数据飞轮激活数据中台的潜力,实现数据驱动的创新。文章分析了数据中台面临的挑战,如数据孤岛和工具复杂性,并提出了建立统一数据治理架构、引入自动化数据管道和强化数据与业务融合等策略。通过实际案例和技术示例,展示了如何利用数据飞轮实现业务增长,强调了数据可视化和文化建设的重要性。旨在帮助企业充分挖掘数据价值,提升决策效率。
63 1
唤醒数据中台潜力:加速数据飞轮转动,实现数据驱动的秘籍
|
2月前
|
存储 机器学习/深度学习 数据管理
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
数据技术的进化史:从数据仓库到数据中台再到数据飞轮
|
2月前
|
机器学习/深度学习 消息中间件 搜索推荐
【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在数据驱动时代,企业逐渐从数据仓库过渡到数据中台,并进一步发展为数据飞轮。本文详细介绍了这一演进路径,涵盖数据仓库的基础存储与查询、数据中台的集成与实时决策,以及数据飞轮的自动化增长机制。通过代码示例展示如何在实际业务中运用数据技术,实现数据的最大价值,推动业务持续优化与增长。
79 4
|
2月前
|
机器学习/深度学习 搜索推荐 算法
从数据中台到数据飞轮:企业升级的必然之路
在探讨是否需从数据中台升级至数据飞轮前,我们应先理解两者之间的关系。数据中台作为数据集成、清洗及治理的强大平台,是数据飞轮的基础;而要实现数据飞轮,则需进一步增强数据自动化处理与智能化利用能力。借助机器学习与人工智能技术,“转动”数据并创建反馈机制,使数据在循环中不断优化,如改进产品推荐系统,进而形成数据飞轮。此外,为了适应市场变化,企业还需提高数据基础设施的敏捷性和灵活性,这可通过采用微服务架构和云计算技术来达成,从而确保数据系统的快速扩展与调整,支持数据飞轮高效运转。综上所述,数据中台虽为基础,但全面升级至数据飞轮则需在数据自动化处理、反馈机制及系统敏捷性方面进行全面提升。
103 14
|
1月前
|
机器学习/深度学习 JSON JavaScript
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
LangChain-21 Text Splitters 内容切分器 支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出 方便将数据进行结构化后检索
26 0
|
1月前
|
数据管理 数据挖掘 大数据
数据飞轮崛起:数据中台真的过时了吗?
数据飞轮崛起:数据中台真的过时了吗?
|
1月前
|
存储 数据管理 大数据
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
从数据仓库到数据中台再到数据飞轮:社交媒体的数据技术进化史
|
3月前
|
监控 数据安全/隐私保护 异构计算
借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM,并应用LangChain集成外部数据
95 1

相关产品

  • 云原生数据库 PolarDB