1元开通与体验
DataWorks、MaxCompute、Hologres
三款云原生一体化数仓产品
卷首语
云原生一体化数仓是阿里云整合自研大数据产品 MaxCompute、DataWorks、
Hologres 和实时计算 Flink 版推出的一站式大数据处理平台,具备流批一体、实时离线一体、湖仓一体、全链路数据治理四大核心能力,可以满足企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理的需求,基于精简的架构,支撑全域数据分析需求和决策。
全链路数据治理包含智能数据建模、全域数据集成、高效数据开发、主动数据
治理、全面数据安全、快速分析服务六大产品能力,覆盖数据的全生命周期。本篇全域数据集成向开发者介绍通过 DataWorks 数据集成在多表>>多表、多表>>单表、单 表>>单表等场景下,进行实时或离线同步的技术选型与核心能力,并以MaxCompute 与 Hologres 引擎为例,演示云上数据同步操作步骤最佳实践。
后续系列电子书更新请关注 DataWorks 官网或阿里云开发者社区。
l 云原生一体化数仓新能力电子书-8 月
l 智能数据建模电子书-9 月
l 全面数据安全电子书-10 月
l 离线实时一体化电子书-10 月
l 主动数据治理电子书-11 月中
DataWorks 官网:https://www.aliyun.com/product/bigdata/ide
一、数据同步场景下的技术选型
概述:数据同步的技术选择非常多样,开源的 DataX、canal 等技术都能实现数据同步的能力。本篇主要介绍通过 DataWorks 数据集成在多表>>多表、多表>>单表、单表>>单表等场景下,进行实时或离线同步的技术选型。
1. 数据集成简介
DataWorks 数据集成是开源 DataX 的商业化技术团队,作为大数据平台上下云的核心枢纽,将不同系统的数据相互打通,实现数据自由离线或实时流动,并致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,繁杂业务背景下的数据同步解决方案。
DataWorks 数据集成目前已经支持 50+种数据源的读写能力。支持的数据源与读写能力。