开发者学堂课程【阿里云 DataHub 使用教程:Odps 同步任务异常处理】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/429/detail/5368
Odps 同步任务异常处理
Odps 同步任务异常处理
1、在控制台可看到正常运行的 connector,在 odps 中 drop 掉当时的分区
alter table test_dh_replica drop partition (pt=”test”)
在 odps 某个分区同步数据时会主动创建一次分区,因此 drop 分区过后再上传的数据将会报错。
2、drop 成功后,向 topic 中上传一些数据,看到任务还在进行中,稍等片刻后再次刷新查看 connector 详情,此时有延迟时长,代表数据和已经 connect 数据的时间差,点击详情页面可看到任务的运行状态为 ERROR,可看到 ERROR 的信息,提示 Odps 分区不存在,是因为刚刚 drop 掉 odps 的分区导致数据 connect 失败。
如何解决上述问题?
通常情况下建议直接点击重启归档,重启归档会触发归档任务从上一次的点位开始重新导入数据,此时任务正在运行,这次过后数据就会成功的写道 odps 中。
刷新页面,归档延迟已为0,说明数据已经追上,任务状态也从 ERROR 变为 RUNNING,当前点位为0,最新的挡位也已经追加进去。
3、到 Odps 控制台,再次查看 Odps 的分区和数据信息,可看到 Odps 分区已经重新创建出来,追加的10条数据也成功复制到新的分区中。