关于DataX对job执行状态监控及调度问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

关于DataX对job执行状态监控及调度问题

2017-06-16 11:41:46 9976 3

最近在使用datax3.0把数据从oracle同步到mysql,第一次使用时觉的很是方便、高效,只要配置好job的json文件,再调用python $dataxhome/bin/datax.py $jobhome/*.json即可完成数据的同步。
后来有个问题,困惑之久,这些个数据同步的job并非定时调起,在特定条件下发起,而且要依据job的执行成功与否来决定是否继续执行其他操作。
那么问题来了,1.如何不通过日志文件来判断某个job是否在运行、2.如何知道job是否运行成功、3.出错时错误数据如何记录?
因为官方说淘宝通过datax每天要同步海量数据,肯定是通过系统调度完成,上面那些问题或许也会碰到,那么有谁能知道,淘宝在应用datax时,是如何监控这些个job的?

取消 提交回答
全部回答(3)
  • 游客vc7hsdcftgjda
    2019-07-17 21:18:04

    同样想知道答案

    0 0
  • 1118512377137272
    2019-07-17 21:18:04

    LocalTGCommunicationManager这个类可以获得JobCommunication,communication里面应该是可以获得State和Throwable,可以试试

    0 0
  • 行百里er
    2019-07-17 21:18:04

    数加平台支持任务调度设置,从天级别到分钟级别都可以,还可以设置依赖关系。

    datax同步任务只是其中一类,还有其他很多类型的任务。

    另外,数加平台推出了一个数据集成的产品,跟你的场景比较匹配,可以看看。

    0 0
添加回答
相关问答

1

回答

SQL 执行计划管理中的执行计划中的状态之一,已验证(Verified)是什么意思?

2022-09-21 15:21:08 29浏览量 回答数 1

1

回答

flink的一个taskmanager最大能执行多少个job?有没有限制?

2022-08-09 18:04:01 119浏览量 回答数 1

0

回答

flink的一个taskmanager最大能执行多少个job?有没有限制?

2022-08-09 18:03:01 100浏览量 回答数 0

1

回答

我在DataWorks的业务流程面板中可以执行一个操作叫做“运行节点及下游”,我想使用Java SD

2022-07-18 10:37:07 296浏览量 回答数 1

2

回答

有人对比过flink on yarn 和 flink on Kubernetes 的优缺点吗?

2019-12-24 15:34:03 4837浏览量 回答数 2

1

回答

在dataframe中循环字典列表和将项添加到列中的有效方法

2019-12-25 22:01:10 459浏览量 回答数 1

0

回答

OAS Java SDK提供的查询接口QueryManager

2017-10-26 15:14:04 1899浏览量 回答数 0

0

回答

关于datav一些菜鸟问题,老司机带带我

2017-04-06 10:32:37 2309浏览量 回答数 0

1

回答

<a href="javascript:void(0)"></a> 和 <a></a> 的区别是什么?

2016-06-14 16:35:53 2155浏览量 回答数 1

3

回答

钉钉客户端开发dd.biz.util.openLink执行无反应,不太明白dingtalk.js中的相关代码

2016-01-31 18:41:17 14788浏览量 回答数 3
+关注
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载