带你读《全链路数据治理-全域数据集成》之35:4.任务配置(下)

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 带你读《全链路数据治理-全域数据集成》之35:4.任务配置(下)

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置(中):https://developer.aliyun.com/article/1222934


10) 表结构配置

默认的表生命周期为 30 天,表示 MaxCompute 只保留最近 30 天的分区数据,单击 MaxCompute 表名可以编辑这个生命周期。

image.png

11) 设置表粒度同步规则

本解决方案支持配置 DML 同步规则,比如想在离线表里保留源库删除的数据,可以这样配置:

image.png

12) DDL 消息处理规则

当源库新增符合规则子表时,同步解决方案会自动包含这个子表。并且通过实时同步,同步创建表以来的所有增量数据。删除子表同理。

image.png

13) 运行资源设置

本步骤可以配置一些同步时所用的资源组、高级参数。


离线任务除了独享数据集成资源组的资源,还需要使用 DataWorks 调度相关资源,如果没有选择独享调度资源组,会使用公共调度资源组。


调度资源组用于执行每天的数据合并。

image.png

14) 提交执行

创建任务后,新任务会出现在任务列表中,单击“提交执行”启动任务。

image.png

目录
打赏
0
0
0
0
52
分享
相关文章
数据与生命的对话:当大数据遇上生物信息学
数据与生命的对话:当大数据遇上生物信息学
41 17
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
别让你的数据“裸奔”!大数据时代的数据隐私保护实战指南
66 19
Dataphin功能Tips系列(53)-离线集成任务如何合理配置JVM资源
本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
掌握Multi-Agent实践(三):ReAct Agent集成Bing和Google搜索功能,采用推理与执行交替策略,增强处理复杂任务能力
掌握Multi-Agent实践(三):ReAct Agent集成Bing和Google搜索功能,采用推理与执行交替策略,增强处理复杂任务能力
别让“数据”白跑!大数据也能拯救地球
别让“数据”白跑!大数据也能拯救地球
55 15
数据不忽悠:如何用大数据预测未来?
数据不忽悠:如何用大数据预测未来?
56 12
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
53 4
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
99 4
体验AnalyticDB无感集成(Zero-ETL)下的一站式数据分析,完成任务可领取300社区积分兑换各种商城好礼!
瑶池数据库的无感数据集成实现秒级同步,性能提升15%。借助AnalyticDB的Zero-ETL功能,快速搭建OLTP与OLAP同步链路,一站式管理数据分析。参与活动完成任务即可领取300社区积分,还有机会抽取红酒收纳箱、键盘鼠标垫、福禄寿淘公仔等好礼!
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等