AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据开发治理DataWorks 正文

DataWorks有多个任务往一张表写数据，每个任务对应一个二级分区，哪个任务写了数据？

DataWorks有多个任务往一张表写数据，每个任务对应一个二级分区，哪个任务写了数据，就触发那个分区的校验，并且二级分区的值就是像我刚才表达的是字符。现在是我在自定义sql能拿到一级分区的值$yyyymmdd-1]，但是二级分区想要动态的引用到触发校验的那任务，举个例子就是：比如一个任务A写 dt=20240612/source_table=abc.efg 分区，另一个任务B写dt=20240612/source_table=iii.efg分区， 可不可以实现当任务A运行完了之后，触发DQC去校验dt=20240612/source_table=abc.efg 这一个分区，而且source_table是不固定的，在自定义sq里怎么定义参数才能拿到触发的任务A的二级分区 abc.efg？

展开
收起
真的很搞笑 2024-06-17 15:25:46 79 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    不过目前这个场景还没有办法实现，即使使用自定义sql 也没有办法判断source_table啥时候等于abc.efg ，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-06-17 19:58:30
    赞同 1 展开评论
问答分类：
DataWorks SQL 大数据开发治理平台 DataWorks
问答标签：
大数据开发治理平台 DataWorks数据 大数据开发治理平台 DataWorks任务数据 大数据开发治理平台 DataWorks任务 大数据开发治理平台 DataWorks任务分区 大数据开发治理平台 DataWorks数据分区
问答地址：
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答
相关问答
DataWorks
DataWorks使用python脚本往maxcompute写数据都是比较慢的吗？
87
0
0
DataWorks这个数据集成配置，可以去掉这个分区字段吗？
94
1
0
DataWorks异常原因就是我监控的分区内没有数据 告警了 为什么告警信息没有同步到钉钉？
93
1
0
DataWorks 今天任务调度时监控昨天分区内有没有数据这个功能不是实现不了 ？
84
1
0
DataWorks中maxcompute如何解除分区数量最大数量为60000的限制呢？
123
1
0
DataWorks中null分区 sql怎么查？
158
13
0
DataWorks【数据地图】分区信息有记录 ，但是记录数都是-1是什么原因呢？
78
1
0
DataWorks在数据源配置那边 配置了备库 为什么在往这个库写数据的时候 会往备库中写呢？
72
0
0
DataWorks除了用数据地图-查看分区，有查看表分区的sql命令吗？
93
2
0
DataWorks数据质量的自定义sql如何传分区参数进去？
107
1
0
大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关文章

  • MySQL权限管理：用户与权限控制详解
  • mysql是什么来的
  • MySQL备份策略：全面保障数据安全
  • ​​告别AI“纸上谈兵”？解锁LangGraph+OceanBase数据融合构建Agent蓝图
  • 关于sql工具的小理解

    • 热门讨论

    热门文章

  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • Dataphin和 Dataworks 有啥区别呢？
  • 阿里云磁盘大小是多少？
  • 数据服务报429请求次数过多咋办呀
  • DataWorks查看我的订阅操作步骤是什么？
  • DataWorks中odps SQL 参数 如何获取前一天的yyyymm？
  • 兄弟们啊，同步中DI、RI到底什么意思，是什么的缩写？
  • DataWorks暂停调度和空跑调度的区别是什么？
  • 请教一下DataWorks，doris和starRocks 选型，选哪个？
  • 咱们这个API Path什么意思呢，是自定义的接口吗？还是统一规范的？
    • 展开全部
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • DataWorks售前咨询
  • DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
  • 数据开发再提速！DataWorks正式接入Qwen3-Coder
  • 火热邀测！DataWorks数据集成支持大模型AI处理
  • 欢迎加入DataWorks产品钉钉交流群
  • DataWorks产品使用合集之怎么选择Doris或StarRocks作为DataWorks的OLAP解决方案
  • 长文详解｜DataWorks Data+AI一体化开发实战图谱
  • 数据管理能力成熟度模型
  • DataWorks操作报错合集之错误提示“ODPS-0130161: Parse exception - invalid token 'WITH', expect 'SEMICOLON'”，该怎么办
    • 展开全部
    还有其他疑问?
    咨询AI助理