关于DataX对job执行状态监控及调度问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

关于DataX对job执行状态监控及调度问题

2017-06-16 11:41:46 10181 3

最近在使用datax3.0把数据从oracle同步到mysql,第一次使用时觉的很是方便、高效,只要配置好job的json文件,再调用python $dataxhome/bin/datax.py $jobhome/*.json即可完成数据的同步。
后来有个问题,困惑之久,这些个数据同步的job并非定时调起,在特定条件下发起,而且要依据job的执行成功与否来决定是否继续执行其他操作。
那么问题来了,1.如何不通过日志文件来判断某个job是否在运行、2.如何知道job是否运行成功、3.出错时错误数据如何记录?
因为官方说淘宝通过datax每天要同步海量数据,肯定是通过系统调度完成,上面那些问题或许也会碰到,那么有谁能知道,淘宝在应用datax时,是如何监控这些个job的?

取消 提交回答
全部回答(3)
  • 游客vc7hsdcftgjda
    2019-07-17 21:18:04

    同样想知道答案

    0 0
  • 1118512377137272
    2019-07-17 21:18:04

    LocalTGCommunicationManager这个类可以获得JobCommunication,communication里面应该是可以获得State和Throwable,可以试试

    0 0
  • 行百里er
    2019-07-17 21:18:04

    数加平台支持任务调度设置,从天级别到分钟级别都可以,还可以设置依赖关系。

    datax同步任务只是其中一类,还有其他很多类型的任务。

    另外,数加平台推出了一个数据集成的产品,跟你的场景比较匹配,可以看看。

    0 0
添加回答
相关问答

1

回答

<a href="javascript:void(0)"></a> 和 <a></a> 的区别是什么?

2016-06-14 16:35:53 2203浏览量 回答数 1

0

回答

关于datav一些菜鸟问题,老司机带带我

2017-04-06 10:32:37 2356浏览量 回答数 0

2

回答

关于 IoT Studio Web可视化开发域名绑定的问题

2019-09-08 15:26:00 1445浏览量 回答数 2

0

回答

OAS Java SDK提供的查询接口QueryManager

2017-10-26 15:14:04 1930浏览量 回答数 0

3

回答

钉钉客户端开发dd.biz.util.openLink执行无反应,不太明白dingtalk.js中的相关代码

2016-01-31 18:41:17 14885浏览量 回答数 3

1

回答

DataWork中如何选择规则模板库?

2021-12-12 10:30:30 395浏览量 回答数 1

1

回答

我在DataWorks的业务流程面板中可以执行一个操作叫做“运行节点及下游”,我想使用Java SD

2022-07-18 10:37:07 454浏览量 回答数 1

0

回答

flink的一个taskmanager最大能执行多少个job?有没有限制?

2022-08-09 18:03:01 135浏览量 回答数 0

1

回答

flink的一个taskmanager最大能执行多少个job?有没有限制?

2022-08-09 18:04:01 143浏览量 回答数 1

1

回答

SQL 执行计划管理中的执行计划中的状态之一,已验证(Verified)是什么意思?

2022-09-21 15:21:08 66浏览量 回答数 1
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
MaxCompute Logview参数详解和问题排查(废弃)
立即下载
MaxCompute Logview参数详解和问题排查
立即下载
Flink中的两类新型状态存储
立即下载