开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks有多个任务往一张表写数据,每个任务对应一个二级分区,哪个任务写了数据?

DataWorks有多个任务往一张表写数据,每个任务对应一个二级分区,哪个任务写了数据,就触发那个分区的校验,并且二级分区的值就是像我刚才表达的是字符。现在是我在自定义sql能拿到一级分区的值$yyyymmdd-1],但是二级分区想要动态的引用到触发校验的那任务,举个例子就是:比如一个任务A写 dt=20240612/source_table=abc.efg 分区,另一个任务B写dt=20240612/source_table=iii.efg分区, 可不可以实现当任务A运行完了之后,触发DQC去校验dt=20240612/source_table=abc.efg 这一个分区,而且source_table是不固定的,在自定义sq里怎么定义参数才能拿到触发的任务A的二级分区 abc.efg?

展开
收起
真的很搞笑 2024-06-17 15:25:46 47 0
1 条回答
写回答
取消 提交回答
  • 不过目前这个场景还没有办法实现,即使使用自定义sql 也没有办法判断source_table啥时候等于abc.efg ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-06-17 19:58:30
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载