带你读《全链路数据治理-全域数据集成》之35:4.任务配置(中)

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 带你读《全链路数据治理-全域数据集成》之35:4.任务配置(中)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(上): https://developer.aliyun.com/article/1222939


6) 手动配置逻辑表

在“自动生成逻辑表”与期望的匹配结果不符时,可以编辑逻辑表匹配规则,也可以通过“添加逻辑表”添加没有扫描到的逻辑表。

有几个逻辑表需要同步,就在此处添加几个。同一逻辑表的数据会同步到目标表中。

image.png


7) 全局分库规则

全局分库规则可以限定来源库条件,这个限定条件可以被应用到下方所有的同步表。


比如我的数据都来自 xiaobo1/xiaobo2/xiaobo3 等数据库,那么就可以添加下图所示全局分库规则限定条件:

image.png


8) 逻辑表编辑

l 编辑规则:

每一个同步表的限定条件分为库限定条件和表限定条件,全局分库规则会继承到同步表规则中,处于不可编辑状态,如需编辑,请在全局分库规则中编辑,在全局分库规则之上,还可编辑某一逻辑表的库限定条件。

image.png

l 预览子表结构:

单击详情可以预览子表结构,配置限定规则时,请确保所匹配的子表表结构都是一致的,否则会出现任务运行失败等问题。

image.png

9) 设置目标表

单击刷新表映射出现目标表列表,单击 MaxCompute 表名,可以预览 MaxCompute表结构,在创建 MaxCompute 表时,数据集成会给 MaxCompute 自动加上一列_src_info_用于标识这行数据来自哪个子表。_src_info_配合源表主键,也可以用于唯一定位一行数据。

image.png



《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(下) https://developer.aliyun.com/article/1222933


目录
打赏
0
0
0
0
52
分享
相关文章
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
|
2月前
|
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
本文介绍了在Spring Boot中配置Swagger2的方法。通过创建一个配置类,添加`@Configuration`和`@EnableSwagger2`注解,使用Docket对象定义API文档的详细信息,包括标题、描述、版本和包路径等。配置完成后,访问`localhost:8080/swagger-ui.html`即可查看接口文档。文中还提示了可能因浏览器缓存导致的问题及解决方法。
90 0
微服务——SpringBoot使用归纳——Spring Boot集成 Swagger2 展现在线接口文档——Swagger2 的配置
别让“数据”白跑!大数据也能拯救地球
别让“数据”白跑!大数据也能拯救地球
55 15
数据不忽悠:如何用大数据预测未来?
数据不忽悠:如何用大数据预测未来?
55 12
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
12天前
|
MCP 实战:用配置与真实代码玩转 GitHub 集成
MCP 实战:用配置与真实代码玩转 GitHub 集成
526 4
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
52 4
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
97 4
(网页系统集成CAD功能)在线CAD中配置属性的使用教程
本文介绍了Mxcad SDK在线预览和编辑CAD图纸的功能及配置方法。通过Vite、CDN或Webpack实现集成,用户可自定义设置以满足项目需求。主要内容包括:1)`createMxCad()`方法的初始属性配置,如画布ID、WASM文件路径、字体加载路径等;2)`MxFun.setIniset()`方法提供的更多CAD初始配置;3)`McObject`对象API用于动态调整视图背景色、浏览模式等。此外,还提供了在线Demo(https://demo2.mxdraw3d.com:3000/mxcad/)供用户测试实时效果。
数据让农业更聪明——用大数据激活田间地头
数据让农业更聪明——用大数据激活田间地头
67 2

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等