开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks如何使用流程配置参数运行?

dataworks如何使用流程配置参数运行?

展开
收起
cuicuicuic 2023-10-24 16:11:41 121 0
6 条回答
写回答
取消 提交回答
  • 在DataWorks中,调度参数的使用是任务调度的关键部分。这些参数允许您根据配置的取值规则,在每次任务运行时自动替换为真实的取值,实现任务调度时间内参数的动态替换。例如,您可以配置系统参数,如业务时间,其取值格式通常为yyymmdd。

    要使用流程配置参数运行,首先需要定义和配置调度参数。然后,在任务节点的配置中,可以指定需要使用的参数。DataWorks会根据节点的调度配置,模拟任务调度时的参数转换,您可基于转换后的参数值验证调度参数转换是否正确。如果参数值不符合预期,应根据业务需求及时调整调度配置,以免影响任务正常调度运行。

    此外,流程参数也可以在节点间传递。例如,可以在sql节点获取流程参数:sql节点参数配置:ReplaceMe=abc 流程参数>节点参数。当运行整个业务流程时:由于流程参数ReplaceMe=RepalceMe123,所以该节点赋值为RepalceMe123。

    最后,您可以手动运行业务流程,选择运行整个业务流程或指定节点的任务。只需单击操作栏中的运行,然后在弹出的对话框中配置参数后,单击运行即可。

    2023-10-29 18:47:13
    赞同 展开评论 打赏
  • DataWorks 的流程配置参数是指在数据工作流中定义的参数,可以通过变量的形式传递给各个任务。以下是使用 DataWorks 流程配置参数运行的步骤:

    1. 在 DataWorks 工作台中,创建一个新的数据工作流,然后在其中添加需要使用的任务。
    2. 在每个任务中,选择合适的参数类型,并为其命名和赋予默认值。例如,你可以创建一个字符串类型的参数,命名为 "myParameter" ,并为其赋予默认值 "defaultValue"。
    3. 在某个任务中,使用 %myParameter% 标记符来引用刚才定义的参数。例如,如果你有一个 SQL 查询任务,可以使用如下代码:
    SET @query = CONCAT('SELECT * FROM myTable WHERE myColumn = ''', '%myParameter%', '''');
    

    这将使用当前参数的值来动态生成 SQL 查询语句。

    1. 将参数分配给流程。在数据工作流的配置页面中,可以指定哪些参数属于哪个流程。例如,你可以在参数面板中选择 "myParameter" 参数,然后将其分配给某个流程。
    2. 运行流程。在 DataWorks 控制台中,选择需要运行的流程,并在弹出的窗口中输入要传递的参数值。例如,你可以在 "myParameter" 参数框中输入 "myParameterValue",然后点击 "运行" 按钮启动流程。
    2023-10-25 21:31:24
    赞同 展开评论 打赏
  • 在DataWorks中,您可以通过以下步骤使用流程配置参数运行:

    1. 首先进行流程参数配置,例如将"ReplaceMe"配置为"RepalceMe123"。
    2. 接下来进行节点参数配置,如将sql节点的"ReplaceMe"配置为"abc"。
    3. 当运行整个业务流程时,系统会将流程参数"ReplaceMe"的值替换为"RepalceMe123",从而使得该节点的参数值为"RepalceMe123"。
    4. 除了直接在节点中配置参数外,您还可以通过手动运行业务流程并赋值的方式来验证流程参数配置是否正确。
    5. 在运行业务流程后,如果发现参数值不符合预期,可以根据业务需求及时调整调度配置,以免影响任务正常调度。
    6. 对于手动业务流程,您可以单击操作栏中的运行按钮,在弹出的对话框中配置参数后,单击运行即可按照运行范围运行手动业务流程,产生手动实例。

    这样,通过以上步骤,您就可以在DataWorks中使用流程配置参数来运行业务流程了。

    2023-10-25 11:04:22
    赞同 展开评论 打赏
  • 【流程参数】
    当整个业务流程需要对同一个变量进行统一赋值/参数值替换时,可选择该功能。
    image.png

    【使用方式】

    对于sql节点,需要在数据开发->调度参数中配置:x=aaa,在执行时才能正确替换成x=y1;代码中以unknown的方式来引用。

    对于shell类型节点,需要在数据开发->调度参数中配置:unknown,在执行时天成y1;代码中需要以$1的方式来引用。

    对于数据集成类型节点,需要在数据开发->调度参数中配置:-p”-Dx=aaa”,在执行时替换成-p”-Dx=y1”,在代码中以unknown的方式引用。

    【注意事项】:

    手动业务流程的全局参数:只对odpssql、shell、数据集成生效,而且需要特定的格式。比如全局参数为x=y1。
    调度业务流程的全局参数:只对odpssql节点生效。
    参数请注意区分大小写。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-24 23:01:48
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,可以使用流程配置参数来运行业务流程。以下是一些基本步骤:

    1. 在DataWorks中,打开需要运行的业务流程。
    2. 在业务流程的编辑页面,选择“流程参数”选项卡。
    3. 在“流程参数”页面,可以设置参数的名称、类型和默认值。如果需要,还可以设置参数的验证规则和帮助信息。
    4. 设置完参数后,可以在业务流程的编辑页面的顶部选择“测试”按钮,以测试业务流程是否可以正确运行。
    5. 如果业务流程可以正确运行,可以将参数保存并应用更改。然后,可以在业务流程的编辑页面的顶部选择“发布”按钮,以将业务流程发布到指定的环境。
    6. 在业务流程发布后,可以在该环境的“运行”页面中,输入参数的值,然后选择“运行”按钮,以运行业务流程。在运行业务流程时,系统会根据设置的参数值,自动替换业务流程中的占位符。
    2023-10-24 22:13:16
    赞同 展开评论 打赏
  • 使用流程参数https://help.aliyun.com/zh/dataworks/user-guide/use-workflow-parameters?spm=a2c4g.11186623.0.i76

    当需要对业务流程中多个节点的同一参数变量统一赋值或替换其参数值时,可使用流程参数功能实现。本文以替换周期业务流程中节点的ReplaceMe参数取值示例,为您介绍流程参数的使用方法。

    前提条件
    已创建业务流程,用于配置流程参数。详情请参见创建周期业务流程、创建手动业务流程。

    已创建节点,配置的流程参数将在节点中使用,替换实际节点中的参数取值。

    流程参数配置入口
    进入数据开发页面。

    登录DataWorks控制台。

    在左侧导航栏,单击工作空间列表。

    选择工作空间所在地域后,单击相应工作空间后的快速进入 > 数据开发。

    进入流程参数配置界面。

    双击目标业务流程,在业务流程编辑页面右侧导航栏配置流程参数。

    76e9ca05a2db85a67d597d6f9e0d4385_p683863.png

    2023-10-24 16:31:09
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多