DataWorks周期业务流程怎么 让他展示成手动业务流程的形式?
优化业务流程结构
简化业务流程:如果当前周期业务流程过于复杂,包含大量节点和子任务,建议将其拆分成更小、更易于管理的子流程。这不仅有助于提升任务的可管理性,还能减少因单个任务故障对整个流程的影响。
合并相似任务:对于具有相似功能和执行逻辑的任务,可以合并到同一业务流程中。通过这种方式,可以减少重复工作,同时确保手动触发时相关任务能够按照预期顺序执行。
可以通过调整调度依赖、修改任务属性、优化业务流程结构以及合理设置并发级别等方法来实现.
DataWorks提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景,这两类业务流程均可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行,对比区分如下。
在手动业务流程中,虽然任务间不能像周期任务那样设置严格的调度依赖,但可以通过任务间的执行顺序(拉线设置)来模拟简单的顺序执行逻辑,尽管这不等同于周期任务的自动依赖调度
要让DataWorks中的周期业务流程展示成手动业务流程的形式,可以通过调整调度依赖、修改任务属性、优化业务流程结构以及合理设置并发级别等方法来实现。具体如下:
调整调度依赖
移除定时调度:在周期业务流程中,通常通过配置定时时间来自动触发任务。要将其改为手动业务流程形式,需要进入每个任务的调度配置界面,移除或注释掉这些定时调度的配置。这样,任务就不会再按预定时间自动执行。
保留手动触发机制:确保所有任务的触发方式被设置为“手动”,这意味着任务只有在明确指定运行时才会执行。可以在任务的调度配置页面进行这一设置,从而将所有周期性任务转变为手动任务。
修改任务属性
禁用自动执行属性:对于周期业务流程中的每个节点,需要禁用其自动执行的属性。这包括如节点的定时时间、本节点的输出依赖关系等。将这些参数设置为无效或注释状态,以确保不会自动执行。
优化任务参数:由于任务变为手动执行,某些与时间相关的参数可能不再适用。根据实际业务需求调整这些参数,例如将业务日期设置为可灵活选择的手动输入参数。这样可以在每次手动触发任务时根据需要选择不同的业务日期。
优化业务流程结构
简化业务流程:如果当前周期业务流程过于复杂,包含大量节点和子任务,建议将其拆分成更小、更易于管理的子流程。这不仅有助于提升任务的可管理性,还能减少因单个任务故障对整个流程的影响。
合并相似任务:对于具有相似功能和执行逻辑的任务,可以合并到同一业务流程中。通过这种方式,可以减少重复工作,同时确保手动触发时相关任务能够按照预期顺序执行。
设置并发级别
控制并发执行:虽然周期业务流程会自动按调度执行,但手动业务流程可以通过设置并发级别来控制任务的并发执行。在业务流程配置页面中设定合适的并发级别,确保在一定时间内任务执行数量符合系统资源限制。
监控资源利用:并发执行虽然能提高效率,但也可能导致资源过度使用。实时监控系统资源,并根据实际负载情况调整业务流程的并发设置,以确保系统稳定高效运行。
优化生产环境管理
发布确认与环境管理:在将任务发布到生产环境之前,仔细检查并确认所有配置正确无误。对于手动业务流程尤其重要,因为一旦发布,所有节点都需要手动触发和管理。
运维中心管理:在运维中心,可以通过手动任务运维功能找到对应的任务进行手动执行。确保手动业务流程在生产环境中正确配置和运行,包括设定适当的运行时间、参数赋值和查看运行实例等。
测试与调试
调试运行:在将周期业务流程完全转为手动形式之前,进行全面的测试和调试是关键步骤。逐个测试手动任务的执行情况,确保其按预期执行,没有因调度依赖或其他配置问题导致运行失败。
模拟运行:在开发环境中模拟手动触发业务流程的场景,观察任务执行顺序和结果是否符合预期。通过模拟运行找出潜在问题,并在正式转为手动流程前解决这些问题。
综上所述,通过调整调度依赖、修改任务属性、优化业务流程结构、合理设置并发级别、优化生产环境管理以及全面的测试与调试,可以将DataWorks中的周期业务流程成功展示成手动业务流程的形式。这样不仅提高了任务管理的灵活性,还有助于更精准地控制任务执行时间和资源利用。
在DataWorks中,要将周期业务流程展示成手动业务流程的形式,可以通过将周期业务流程的调度参数移除,并设置为手动触发执行的方式实现。
DataWorks是一个大数据开发和治理平台,提供了丰富的数据集成、开发和管理功能。它支持多种计算引擎,如MaxCompute、Hologres和EMR等,用户可以根据业务需求创建不同类型的业务流程。周期业务流程适用于需要定期自动执行的任务,而手动业务流程则适用于那些不需要周期性调度,只需在特定时刻手动触发执行的任务。
周期业务流程依赖于调度参数来配置任务的运行时间和依赖关系。要将其改为手动业务流程的形式,需去除这些调度参数。具体来说,去掉任务节点的定时时间配置和节点间的调度依赖关系。这样修改后,业务流程便不再按预设的周期自动运行,而是需要用户手动触发。
在手动业务流程中,任务节点无需设置上下游执行顺序,但也可以手动拉线定义执行顺序。这一操作并非设置调度依赖,而是方便用户在手动触发时按序执行任务。此外,所有节点的基础属性如名称、ID、类型会自动展示,无需单独配置。对于资源属性,可以根据任务在生产环境中所需的资源进行配置。
调试手动业务流程时,用户可以在开发环境通过个人账号执行相关操作。若任务需在生产环境执行,可以提交并发布至运维中心,然后在运维中心的手动任务运维页面手动触发执行。这种操作方式确保了灵活性,使用户完全控制任务的执行时间和顺序。
综上所述,将DataWorks中的周期业务流程展示成手动业务流程的形式,主要通过移除调度参数、设置手动触发执行、调整任务执行顺序及合理配置资源属性来实现。这些步骤不仅保留了周期业务流程的结构和逻辑,还赋予了用户更大的灵活性和控制力,以适应不同的业务需求和执行时机。
DataWorks中的业务流程一旦创建为周期性的,就无法直接转换为手动业务流程。若需手动触发运行,您需要创建一个新的手动业务流程。手动业务流程不需要配置周期性调度参数,您可以通过新建业务流程时选择“业务名称”和“描述”,然后选择“新建”以创建。创建后,您可以在该业务流程下开发任务,这些任务将在需要时手动触发运行。可参考DataWorks控制台的文档。
在DataWorks中,周期业务流程通常是自动执行的,而手动业务流程则需要人工触发。如果你想将周期业务流程展示成手动业务流程的形式,也就是说,在不改变现有周期性任务的情况下,让这些任务看起来像是需要手动触发的,你可以采取以下几种策略:
你可以添加条件判断节点到现有的周期业务流程中,只有当满足特定条件时才执行后续任务。这些条件可以是人为设置的标志,例如数据库中的某个状态标志,或者是通过工作流参数控制的。这样一来,即使任务本身仍然是周期性的,但在实际运行过程中,它们的行为就类似于手动触发了。
在关键的任务节点前后添加人工确认节点,要求人工干预以继续执行下一个任务。这可以通过创建一个简单的SQL任务或Shell命令来实现,该任务检查某个标记或状态,只有当标记被修改后才允许流程继续。
虽然这不是直接改变工作流的展示方式,但你可以通过DataWorks提供的API或SDK手动触发周期任务。这意味着你可以创建一个简单的前端界面或者脚本,让用户选择何时触发这些周期任务。
在DataWorks的工作流设计中,你可以修改每个任务的属性,使其在执行前需要人工确认。虽然这并不是改变整个流程的展示形式,但它确实可以让用户感觉到任务是手动触发的。
你可以创建一个前端界面,用户可以在界面上选择触发哪些周期任务。这个前端应用可以调用DataWorks的API来触发选定的任务。这样,用户就可以通过点击按钮来启动任务,而不是通过常规的周期调度。
下面是一个简单的例子,展示了如何使用条件判断节点来模拟手动触发的效果:
添加条件判断节点:
创建状态表:
更新条件判断逻辑:
创建前端界面或脚本:
如果你需要更详细的指导或者有其他具体问题,请随时告知。
您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务
进入数据开发页面。
1.登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
2.在数据开发页面左侧导航栏选择手动业务流程。若您界面没有该菜单,参考https://help.aliyun.com/zh/dataworks/user-guide/create-a-manual-task?spm=a2c6h.13066369.question.5.446f58db8DXA9A![image.png](https://ucc.alicdn.com/pic/developer-ecology/c5eftvn6qskjg_210b4677febf461faa3f6f394caae761.png)
登录DataWorks控制台,进入数据开发页面。
在左侧导航栏中选择手动业务流程。
创建一个新的手动业务流程。您可以通过鼠标悬停在图标上并点击新建业务流程,或者右键点击数据开发左侧目录树的业务流程,选择新建业务流程 。
在新建业务流程对话框中,输入业务流程的名称和描述,然后点击新建
https://help.aliyun.com/zh/dataworks/user-guide/create-a-manual-task
你先去你控制台
点击左侧导航栏的“数据建模与开发” > “运维中心”。
选择对应的工作空间后,点击“进入运维中心”。
访问手动任务页面:
在运维中心的左侧导航栏,点击“手动任务运维” > “手动任务”。
此时,您将看到手动业务流程的列表及其DAG图。
手动运行周期业务流程:
虽然直接转换显示形式不直接支持,但您可以通过手动触发周期业务流程中的任务来模拟手动业务流程的操作体验。
在周期业务流程列表中,找到您想要手动运行的流程。
通过操作栏的“运行”按钮,配置需要的参数(如业务日期、流程参数等),并选择运行范围(整个流程或指定节点)。
运行后,该流程将以实例的形式出现在手动实例列表中,您可以像管理手动业务流程一样查看其DAG图、运行日志、血缘关系等。
查看与管理实例:
运行后,通过“查看实例”功能,您可以跳转至手动实例页面,监控运行结果。
在DAG图中,您可以进一步分析任务间的依赖关系、查看运行日志、进行运行诊断等操作。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
在数据开发页面左侧导航栏选择手动业务流程。若您界面没有该菜单,请参见改变布局:定制化展示模块手动添加。
——参考链接。
可以创建手动业务流程。
进入手动业务流程功能界面
您需要前往DataStudio(数据开发) > 手动业务流程页面,通过手动业务流程创建手动触发执行的任务。
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发。
在数据开发页面左侧导航栏选择手动业务流程。若您界面没有该菜单,请参见改变布局:定制化展示模块手动添加。
新建手动业务流程
DataWorks以业务流程为中心组织数据开发,通过各类型开发节点的容器看板,将相关工具、优化及管理操作围绕看板对象进行组织,使开发管理更加方便智能。您可根据业务需求,将同类型业务统一放置在一个业务流程。具体步骤如下:
创建业务流程。您可以使用如下两种方式创建:
方式一:鼠标悬停至创建业务流程图标,单击新建业务流程。
方式二:右键单击数据开发左侧目录树的业务流程,选择新建业务流程。
配置业务流程的名称及描述,单击新建。
参考文档https://help.aliyun.com/zh/dataworks/user-guide/create-a-manual-task?spm=a2c4g.11186623.0.i261
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。