开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

如果用开源的调度组件取调度dataworks里的sql节点任务会占用dataworks的调度次数吗?

DataWorks如果用开源的调度组件取调度dataworks里的 sql节点任务,会占用dataworks的调度次数吗?

展开
收起
真的很搞笑 2023-11-14 08:03:39 66 0
3 条回答
写回答
取消 提交回答
  • 使用开源调度组件来调度 DataWorks 中的 SQL 节点任务不会消耗 DataWorks 的调度次数。这是因为开源调度组件是独立于 DataWorks 的,并且它们有自己的调度机制。当您使用开源调度组件调度 SQL 节点任务时,它会直接调用 DataWorks API,而不是使用 DataWorks 自身的调度器。
    然而,请注意,即使使用开源调度组件,您仍然需要注意不要过度频繁地执行任务,以免对 DataWorks 或者您使用的计算资源造成过大的压力。

    2023-11-14 21:36:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在使用开源调度组件调度 DataWorks 作业时,可能会产生调度次数费用。这是因为 DataWorks 资源的调度是有限制的,并且每次运行作业都会计费一次。
    如果您计划频繁运行作业,请考虑以下方案:

    1. 尝试降低作业的复杂度,尽量减少运行次数;
    2. 购买更多的调度资源包,以增加调度次数;
    3. 使用其他的调度机制,如 EMR 或 ECS 批量运行;
    4. 考虑迁移到自建集群;
    5. 在官方文档中查找关于作业调度的信息,以了解更多细节。
    2023-11-14 13:09:23
    赞同 展开评论 打赏
  • 公共调度资源组按量付费是按成功的实例数进行收费 如果调的是节点任务还是需要的 运行是在调度的资源上;,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-14 11:54:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载