DataWorks这个创建手动业务流程,然后创建表需要选择引擎实例,这个实例需要单独配置吗?
新建或绑定节点引擎实例。
业务流程提供目录树列表与可视化两种方式新建任务。
新建手动任务。
方式一:基于目录树创建。
在目录树的业务流程中找到上述步骤一创建的业务流程。
右键单击所需引擎,在新建节点下选择合适节点。
方式二:基于业务流程面板创建。
在目录树的业务流程中找到上述步骤一创建的业务流程。
双击该业务流程,进入业务流程面板。
在面板左侧导航栏单击所需节点,或将所需节点类型拖拽至面板。
配置节点引擎实例、名称等信息。
定义任务代码。
您需要根据您选择的引擎类型,结合引擎语法,编辑该任务执行逻辑。若需要代码动态入参,您可通过${变量名}的方式定义代码中的变量,并可在后续设置任务属性阶段,为该变量赋值默认参数。此操作与调度任务定义代码变量的方式一致。
在DataWorks中创建手动业务流程并创建表时,确实需要选择引擎实例。例如,如果您选择了MaxCompute作为您的计算引擎,那么您需要在工作空间配置页面添加MaxCompute计算引擎实例后,才能在创建表的过程中看到MaxCompute目录。
DataWorks以业务流程为中心组织数据开发,通过各类型开发节点的容器看板,将相关工具、优化及管理操作围绕看板对象进行组织,使开发管理更加方便智能。DataWorks提供了周期业务流程和手动业务流程两种,以满足不同的业务需求。
创建业务流程时,大数据开发治理平台DataWorks会将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。完成创建后,您可以利用数据开发(DataStudio)中开发对应的开发任务,然后提交到相应的引擎实例上运行。
在 DataWorks 中创建手动业务流程并创建表时,选择引擎实例是一个重要的步骤。引擎实例用于指定任务运行的计算资源环境,可以根据任务的需求和预算进行配置。
在 DataWorks 中,引擎实例需要提前进行配置。具体而言,您需要在 DataWorks 控制台的项目管理页面中进行实例配置。以下是一些相关的信息和步骤:
引擎实例类型:DataWorks 支持两种类型的引擎实例,分别是共享实例和独享实例。共享实例是多租户共享的资源池,适用于低负载和成本敏感的场景;独享实例则是专用的资源环境,适用于高负载和对性能要求较高的场景。
创建引擎实例:在项目管理页面中,选择 "引擎实例" 标签页,然后点击 "创建实例" 按钮。按照提示填写实例名称、资源规格、区域等信息,并根据需求选择共享实例或独享实例。
实例配置:创建引擎实例后,可以进一步配置实例的参数,例如最大并发任务数、计算资源配额等。这些配置选项可以根据实际需求进行调整。
绑定引擎实例:在创建手动业务流程时,选择合适的引擎实例。在创建表时,也需要选择相应的引擎实例。这样可以确保任务在指定的计算资源环境中运行。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。