带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

简介: 带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

4. 配置任务

1) 创建同步任务

在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。

image.png

选择 Hologres 整库全增量解决方案。

image.png

2) 选择表并刷新表映射

image.png

l 左侧勾选源端需要同步的表 table_a_001、table_a_002、table_b_001、

table_b_002。

l 通过穿梭框选中后移动至右侧。

l 点击批量刷新映射按钮。


l 目标端 Schema 默认使用源端 Database 名。

l 目标端 Table 默认使用源端 Table 名。


3) 配置表名转换规则

image.png

通过增加表名映射规则,来修改目标表的名字。

image.png

转换规则配置解释:

l 目标表名为可视化拼接,可以使用内置变量及指定字符串。

l 内置变量可以配置多个字符串转换规则,顺序执行,计算结果值会拼接到目

标表名。

l 上图中的规则可以表达为:

Ø 目标表名=REPLACE(源表名 , ^table_a_\d+$ , tb_a) + _to_holo。

Ø 以源表名 table_a_001 为例,目标表名转换后为:tb_a_to_holo。


l 保存规则后,规则并不会立即生效,需要手动将规则应用到指定的表上,才

能够生效。

image.png

image.png

按照 table_a 的操作,配置 table_b 的表名转换规则,并应用刷新。

image.png


可以看到,目标表名已经配置为:tb_a_to_holo、tb_b_to_holo


同步主的解

在进行刷新操作时,系统会自动识别源端表的主键信息,如未能识别到主键信息,则需要手动设置主键。


当目标端不存在为自动建表时,会将同名字段设置为主键予以建表。



《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(下):https://developer.aliyun.com/article/1222963


相关文章
|
8月前
|
Java 关系型数据库 MySQL
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
springboot项目集成dolphinscheduler调度器 实现datax数据同步任务
803 2
|
12月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
306 12
|
机器学习/深度学习 DataWorks 数据挖掘
基于阿里云Hologres和DataWorks数据集成的方案
基于阿里云Hologres和DataWorks数据集成的方案
293 7
|
存储 安全 网络安全
Hologres 的安全性和数据隐私保护
【9月更文第1天】随着数据量的不断增长和对数据价值的认识加深,数据安全和隐私保护成为了企业和组织不可忽视的重要议题。Hologres 作为一款高性能的实时数仓产品,在设计之初就将安全性置于核心地位。本文将深入探讨 Hologres 在保障数据安全和隐私方面的措施,包括数据加密、访问控制以及如何满足各类数据保护法规的要求。
275 3
|
消息中间件 Java 数据库连接
Hologres 数据导入与导出的最佳实践
【9月更文第1天】Hologres 是一款高性能的实时数仓服务,旨在提供快速的数据分析能力。无论是从外部数据源导入数据还是将数据导出至其他系统,都需要确保过程既高效又可靠。本文将详细介绍如何有效地导入数据到 Hologres 中,以及如何从 Hologres 导出数据。
663 1
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
存储 数据挖掘 大数据
深度解析Hologres计算资源配置:如何根据业务场景选择合适的计算类型?
【8月更文挑战第22天】Hologres是一款由阿里云提供的分布式分析型数据库,支持高效的大数据处理与分析。本文通过电商优化商品推荐策略的案例,介绍了Hologres中的计算组型与通用型配置。计算组型提供弹性扩展资源,适合大规模数据及高并发查询;通用型则适用于多数数据分析场景,具备良好计算性能。通过实例创建、数据加载、计算任务建立及结果查询的步骤展示,读者可理解两种配置的差异并根据业务需求灵活选择。
263 2
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
310 1
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。