开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks基础属性:调度参数不同类型节点使用调度参数示例是什么?

DataWorks基础属性:调度参数不同类型节点使用调度参数示例是什么?

展开
收起
真的很搞笑 2023-11-14 08:02:58 69 0
4 条回答
写回答
取消 提交回答
  • DataWorks任务调度时使用的参数称为调度参数,这些参数可以根据您配置的取值规则DataWorks任务调度时使用的参数称为调度参数,这些参数可以根据您配置的取值规则在每次任务运行时自动替换为真实的取值,从而实现任务调度时间内参数的动态替换。节点的基础属性包括名称、ID、类型和责任人等。

    对于不同类型的节点,调度参数的使用示例如下:

    • Shell节点:可在“命令”中输入Shell命令,并在“参数”中添加需要传递的参数。
    • Python节点:可在“脚本内容”中编写Python代码,并在“参数”中添加需要传递的参数。
    • Spark节点:可在“程序路径”中指定Spark应用程序的路径,并在“参数”中添加需要传递的参数。
    • Hive节点:可在“HQL”中编写Hive查询语句,并在“参数”中添加需要传递的参数。
    • MR节点:可在“程序路径”中指定MapReduce应用程序的路径,并在“参数”中添加需要传递的参数。
    • ODPS节点:可在“SQL”中编写ODPS SQL语句,并在“参数”中添加需要传递的参数。

    特别需要注意的是,参数节点不运行数据开发任务,仅用于参数管理和透传参数。如果任务节点使用参数节点中的参数,那么该任务节点需作为参数节点的下游依赖。同时,DataWorks会根据节点的调度配置模拟任务调度时的参数转换,您可以基于转换后的参数值验证调度参数转换是否正确。如果参数值不符合预期,应根据业务需求及时调整调度配置,以免影响任务正常调度运行。

    2023-11-30 14:15:26
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks提供了多种类型的节点,包括ODPS SQL节点、离线数据节点、EMR类型节点和PyODPS节点。在这些节点中,您可以使用不同的调度参数来控制数据的提取、转换和加载过程。
    对于ODPS SQL节点和离线数据节点,您可以直接在右侧的调度配置界面中使用自定义参数为变量赋值,并在代码中引用变量名;如果您想使用系统调度参数,则可以在代码中直接引用它们,而无需在右侧的调度配置界面为它们赋值。
    对于EMR类型节点,您可以在调度配置界面中输入自定义参数,并在代码中引用变量名;同时,您还可以使用系统调度参数,并在代码中直接引用它们。
    最后,对于PyODPS节点,您可以在右侧的调度配置界面中输入自定义参数,并在代码中通过args变量来获取这些参数的值。此外,您也可以使用系统调度参数,并在代码中直接引用它们。

    2023-11-14 13:40:47
    赞同 展开评论 打赏
  • 调度参数典型场景配置示例https://help.aliyun.com/zh/dataworks/user-guide/configuration-examples-for-scheduling-parameters-in-typical-scenarios?spm=a2c4g.11186623.0.i108

    本文为您介绍度参数配置相关的典型场景及最佳实践汇总。

    调度参数配置相关的典型场景及最佳实践如下:
    调度参数配置最佳实践
    调度参数在数据集成的典型应用场景
    各类型节点的调度参数配置示例:
    SQL类型节点及离线同步节点
    PyODPS节点
    通用Shell节点
    自定义参数取值差异对比示例:
    不同格式自定义参数的应用对比
    ${…}和$[…]参数的功能差异
    调度参数返回值二次处理典型场景
    获取上个月最后一天
    获取当前季度
    获取定时时间15分钟前的年、月、日、小时、分钟
    获取时间区间,调度间隔为1天
    获取时间区间,调度间隔为1小时
    通过赋值节点二次处理调度参数

    2023-11-14 12:00:55
    赞同 展开评论 打赏
  • DataWorks的基础属性调度参数包括自定义参数、系统参数和环境变量,你可以参考以下示例:

    • 自定义参数示例:一个自定义参数是${myParam},它的名称为myParam,可以出现在Task的右键菜单中。
    • 系统参数示例:系统参数是由DataWorks维护的参数,比如任务ID、作业ID等,它们的格式为:${taskId},${jobId}, ${workGroupId},${projectName} 等。
    • 环境变量示例:环境变量是在系统中定义的,可以在Task中使用,例如${HOSTNAME}。

    请注意,不同的调度参数需要遵循一定的格式要求,以确保正确引用。

    2023-11-14 11:35:03
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载