带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

4. 配置任务

1) 创建同步任务

在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。

image.png

选择 Hologres 整库全增量解决方案。

image.png

2) 选择表并刷新表映射

image.png

l 左侧勾选源端需要同步的表 table_a_001、table_a_002、table_b_001、

table_b_002。

l 通过穿梭框选中后移动至右侧。

l 点击批量刷新映射按钮。


l 目标端 Schema 默认使用源端 Database 名。

l 目标端 Table 默认使用源端 Table 名。


3) 配置表名转换规则

image.png

通过增加表名映射规则,来修改目标表的名字。

image.png

转换规则配置解释:

l 目标表名为可视化拼接,可以使用内置变量及指定字符串。

l 内置变量可以配置多个字符串转换规则,顺序执行,计算结果值会拼接到目

标表名。

l 上图中的规则可以表达为:

Ø 目标表名=REPLACE(源表名 , ^table_a_\d+$ , tb_a) + _to_holo。

Ø 以源表名 table_a_001 为例,目标表名转换后为:tb_a_to_holo。


l 保存规则后,规则并不会立即生效,需要手动将规则应用到指定的表上,才

能够生效。

image.png

image.png

按照 table_a 的操作,配置 table_b 的表名转换规则,并应用刷新。

image.png


可以看到,目标表名已经配置为:tb_a_to_holo、tb_b_to_holo


同步主的解

在进行刷新操作时,系统会自动识别源端表的主键信息,如未能识别到主键信息,则需要手动设置主键。


当目标端不存在为自动建表时,会将同名字段设置为主键予以建表。



《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(下):https://developer.aliyun.com/article/1222963


相关文章
|
14天前
|
Cloud Native Java Nacos
springcloud/springboot集成NACOS 做注册和配置中心以及nacos源码分析
通过本文,我们详细介绍了如何在 Spring Cloud 和 Spring Boot 中集成 Nacos 进行服务注册和配置管理,并对 Nacos 的源码进行了初步分析。Nacos 作为一个强大的服务注册和配置管理平台,为微服务架构提供
236 14
|
2月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
75 12
|
6月前
|
机器学习/深度学习 DataWorks 数据挖掘
基于阿里云Hologres和DataWorks数据集成的方案
基于阿里云Hologres和DataWorks数据集成的方案
123 7
|
6月前
|
存储 安全 网络安全
Hologres 的安全性和数据隐私保护
【9月更文第1天】随着数据量的不断增长和对数据价值的认识加深,数据安全和隐私保护成为了企业和组织不可忽视的重要议题。Hologres 作为一款高性能的实时数仓产品,在设计之初就将安全性置于核心地位。本文将深入探讨 Hologres 在保障数据安全和隐私方面的措施,包括数据加密、访问控制以及如何满足各类数据保护法规的要求。
98 3
|
6月前
|
消息中间件 Java 数据库连接
Hologres 数据导入与导出的最佳实践
【9月更文第1天】Hologres 是一款高性能的实时数仓服务,旨在提供快速的数据分析能力。无论是从外部数据源导入数据还是将数据导出至其他系统,都需要确保过程既高效又可靠。本文将详细介绍如何有效地导入数据到 Hologres 中,以及如何从 Hologres 导出数据。
259 1
|
7月前
|
jenkins 持续交付 网络安全
利用 Jenkins 实现持续集成与持续部署-代码拉取终端的配置
【8月更文挑战第30天】在Jenkins服务器中,git和Gitee是常用的代码拉取终端。Git作为分布式版本控制系统,具备出色的灵活性和可扩展性;而Gitee则在国内网络环境下表现更佳,适合团队协作。Git配置包括安装、设置用户信息及生成SSH密钥等步骤;Gitee配置也类似,需注册账号、创建仓库、配置基本信息并设置远程仓库地址。开发人员提交代码后,可通过Webhook、定时轮询或事件监听等方式触发Jenkins动作,确保持续集成和部署高效运行。正确配置这些触发机制并通过测试验证其有效性至关重要。
95 2
|
7月前
|
持续交付 jenkins Devops
WPF与DevOps的完美邂逅:从Jenkins配置到自动化部署,全流程解析持续集成与持续交付的最佳实践
【8月更文挑战第31天】WPF与DevOps的结合开启了软件生命周期管理的新篇章。通过Jenkins等CI/CD工具,实现从代码提交到自动构建、测试及部署的全流程自动化。本文详细介绍了如何配置Jenkins来管理WPF项目的构建任务,确保每次代码提交都能触发自动化流程,提升开发效率和代码质量。这一方法不仅简化了开发流程,还加强了团队协作,是WPF开发者拥抱DevOps文化的理想指南。
141 1
|
7月前
|
存储 数据挖掘 大数据
深度解析Hologres计算资源配置:如何根据业务场景选择合适的计算类型?
【8月更文挑战第22天】Hologres是一款由阿里云提供的分布式分析型数据库,支持高效的大数据处理与分析。本文通过电商优化商品推荐策略的案例,介绍了Hologres中的计算组型与通用型配置。计算组型提供弹性扩展资源,适合大规模数据及高并发查询;通用型则适用于多数数据分析场景,具备良好计算性能。通过实例创建、数据加载、计算任务建立及结果查询的步骤展示,读者可理解两种配置的差异并根据业务需求灵活选择。
103 2
|
7月前
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
116 1
|
6月前
|
jenkins 持续交付 网络安全
利用 Jenkins 实现持续集成与持续部署-代码拉取终端的配置
安装Git、配置用户信息、生成SSH密钥以及在Gitee上创建项目仓库等。
126 0

热门文章

最新文章