带你读《全链路数据治理-全域数据集成》之36:5. 任务运维

简介: 带你读《全链路数据治理-全域数据集成》之36:5. 任务运维

5. 任务运维

1) 查看任务状态

提交执行后,单击“执行详情”可以看到执行阶段进度以及详细信息,每一个步骤的执行详情还会提供外链,直接查看或者运维执行步骤。

image.png

l 节点依赖关系

image.png

StreamxCheckDone:本节点负责检查实时同步位点,当实时同步位点已经超过本次运行的业务时间时。本节点会运行成功。如果实时同步任务没有在运行,或者一直处于同步延迟中,本节点会一直检查 72 小时,超时后节点状态失败,阻塞下方节点执行,需要人工恢复实时同步后重跑 StreamxCheckDone 节点。


FullDataInitCheckDone:全量初始化结束后,会运行全量初始化标 done 节点,该节点负责在 MaxCompute 创建一个临时表,用于给全量数据初始化 CheckDone 节点检查全量初始化是否完成。


MergeIntoNode:当 StreamxCheckDone 和 FullDataInitCheckDone 都运行成功时,MergeIntoNode 开始合并上一业务日期的全量数据和新增的实时数据,产出新的全量天分区。


2) 增减数据源

分库分表至 MaxCompute 同步解决方案支持增加、减少同步的数据源。


修改同步任务,单击“批量编辑数据来源”,修改同步的数据源。


修改完成后提交执行同步解决方案,同步任务会找出新数据源所包含的新增子表,执行全量初始化。更新实时同步所同步的数据源。

image.png

3) 增减表

分库分表至 MaxCompute 同步解决方案支持增加、减少同步的逻辑表。


修改同步任务,操作“添加逻辑表”、“删除”即可实现增减表。


修改完成后提交执行同步解决方案,同步任务会全量初始化新表。更新实时同步所同步的逻辑表。

image.png

4) 附录

l 基础正则表达式

分库分表规则配置中,使用了 java 正则表达式,正则表达式的功能极其强大,以下

提供几个常用样例供参考。

image.png

附一些正则基础组成单元的样例。

image.png

正则表达式

作用


相关文章
|
7月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
513 14
|
9月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
340 4
|
9月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
443 3
|
9月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
8月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
695 0
|
7月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
247 14
|
7月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
246 1
|
7月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
715 1
|
6月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
562 0

热门文章

最新文章