开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问实时同步节点,是不是没有办法创建下游依赖节点?

请问实时同步节点,是不是没有办法创建下游依赖节点?

展开
收起
游客3oewgrzrf6o5c 2022-08-17 17:55:38 366 0
1 条回答
写回答
取消 提交回答
  • 比如实时任务按每小时写入分区,当20点的分区已经存在的时候就已经可以判断为19点的分区已经结束 可以建一个shell节点 里面加一个 while 循环去检查20点的分区 再留10分钟左右的buffer时间; 当maxpt(表名)==调度参数值,退出循环 任务结束(此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-17 18:13:45
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Flink中的两类新型状态存储 立即下载
HBase2.0重新定义小对象实时存取 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载