开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何完成周期任务的开发?

DataWorks如何完成周期任务的开发?

展开
收起
真的很搞笑 2023-11-20 07:51:07 72 0
3 条回答
写回答
取消 提交回答
  • 周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在运维中心 > 周期任务页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情,并管理周期任务。https://help.aliyun.com/zh/dataworks/user-guide/view-and-manage-auto-triggered-nodes?spm=a2c4g.11186623.0.i43

    使用限制
    仅DataWorks专业版及以上版本用户才可以使用DAG图的节点聚合、上游分析、下游分析功能。版本升级详情请参见DataWorks版本服务计费说明。
    https://help.aliyun.com/zh/dataworks/product-overview/billing-of-dataworks-advanced-editions#concept-265329

    2023-11-20 14:03:02
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,完成周期任务的开发分为几个步骤:

    1. 创建周期任务:在DataWorks控制台中创建一个周期任务,指定周期时间和频率等属性。
    2. 编写任务代码:编写需要执行的任务代码,并将其上传到DataWorks。
    3. 配置任务依赖:设置任务依赖,以控制任务的执行顺序。
    4. 发布任务:将任务发布到生产环境。
    2023-11-20 13:35:55
    赞同 展开评论 打赏
  • 在DataWorks中,周期任务的开发可以通过数据开发(DataStudio)模块完成。该模块是面向各引擎(如MaxCompute、Hologres、EMR等)提供可视化开发主界面的,支持智能代码开发、多引擎混编工作流和规范化任务发布等能力。

    以使用MaxCompute计算引擎为例,您需要在DataStudio中创建一个周期调度任务。首先,登录DataWorks控制台,然后单击左侧导航栏的"数据建模与开发 > 运维中心",在下拉框中选择对应的工作空间后单击"进入运维中心"。接着,在左侧导航栏中,单击"周期任务运维 > 周期任务",进入周期任务页面,查看周期任务列表或DAG图。

    这里需要注意的是,周期任务和周期实例之间存在着密切的关系。具体来说,任务(即数据开发中的"节点")是起源点,而实例则是根据任务以及任务配置情况定时生成的执行任务的载体。实例为固定时间一次性生成。

    此外,您可以在运维中心查看指定工作空间下的周期任务,并对任务进行运维操作,包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。这样,您就可以更好地管理和控制您的周期任务了。

    2023-11-20 09:27:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多