开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks实时任务节点spark streaming是否支持周期调度,依赖调度?

问题1:DataWorks实时任务节点spark streaming是否支持周期调度,依赖调度?
问题2:那就是不支持和批任务混编?需要手动启动是吗

展开
收起
真的很搞笑 2023-07-22 13:06:26 95 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,实时任务节点(Spark Streaming)支持周期调度和依赖调度。

    周期调度:你可以在实时任务节点的配置中设置任务的调度周期,例如每隔几分钟或每天的特定时间执行一次。这允许你按照设定的时间间隔自动触发实时任务的执行。

    依赖调度:DataWorks还提供了依赖调度功能,允许你在实时任务之间建立依赖关系。你可以配置任务的前置依赖,确保某个实时任务在它所依赖的任务完成后才会触发执行。这种方式可以构建复杂的实时任务流程,确保任务按照预期的顺序和依赖关系执行。

    2023-07-30 18:09:28
    赞同 展开评论 打赏
  • 在DataWorks中,实时任务节点的Spark Streaming支持周期调度和依赖调度。

    1. 周期调度:你可以设置实时任务节点的Spark Streaming作业以固定的时间间隔运行。可以指定任务的触发频率(如每5分钟、每小时等),以满足实时数据处理的需求。

    2. 依赖调度:Spark Streaming作业可以根据它们之间的依赖关系进行调度。这意味着一个作业只有在其所依赖的其他作业成功完成后才会被触发执行。这样可以确保数据流的正确顺序和一致性。

    通过配置DataWorks中实时任务节点的调度参数,你可以灵活地设置Spark Streaming作业的周期调度和依赖关系,以适应特定的数据处理需求。

    请注意,具体的调度设置可能会因DataWorks版本和配置而有所差异。建议参考DataWorks官方文档或与DataWorks管理员或技术支持团队联系,以获取更准确和详细的指导。

    2023-07-23 13:09:54
    赞同 展开评论 打赏
  • 回答1:实时计算节点是常驻任务 启动后会一直在执行,如果有离线任务期望对结果汇总 可以考虑建个shell任务去轮询检查需要的分区是都已经存在 存在再执行下一步骤
    回答2:对的 依赖任务实际上是需要获取上游产出的数据 可以参考这种方式,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:02:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载