关于DataX对job执行状态监控及调度问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于DataX对job执行状态监控及调度问题

2017-06-16 11:41:46 9047 3

最近在使用datax3.0把数据从oracle同步到mysql,第一次使用时觉的很是方便、高效,只要配置好job的json文件,再调用python $dataxhome/bin/datax.py $jobhome/*.json即可完成数据的同步。
后来有个问题,困惑之久,这些个数据同步的job并非定时调起,在特定条件下发起,而且要依据job的执行成功与否来决定是否继续执行其他操作。
那么问题来了,1.如何不通过日志文件来判断某个job是否在运行、2.如何知道job是否运行成功、3.出错时错误数据如何记录?
因为官方说淘宝通过datax每天要同步海量数据,肯定是通过系统调度完成,上面那些问题或许也会碰到,那么有谁能知道,淘宝在应用datax时,是如何监控这些个job的?

取消 提交回答
全部回答(3)
  • 游客vc7hsdcftgjda
    2019-07-17 21:18:04

    同样想知道答案

    0 0
  • 1118512377137272
    2019-07-17 21:18:04

    LocalTGCommunicationManager这个类可以获得JobCommunication,communication里面应该是可以获得State和Throwable,可以试试

    0 0
  • 行百里er
    2019-07-17 21:18:04

    数加平台支持任务调度设置,从天级别到分钟级别都可以,还可以设置依赖关系。

    datax同步任务只是其中一类,还有其他很多类型的任务。

    另外,数加平台推出了一个数据集成的产品,跟你的场景比较匹配,可以看看。

    0 0
添加回答
相关问答

18

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1044688浏览量 回答数 18

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157742浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337075浏览量 回答数 8

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 147265浏览量 回答数 22

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 129033浏览量 回答数 2

42

回答

【精品问答集锦】Python热门问题

小六码奴 2019-05-30 15:27:34 137099浏览量 回答数 42

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 259888浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 305683浏览量 回答数 249

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 475830浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204415浏览量 回答数 2
+关注
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载