DataWorks数据开发的时候这个业务流程和解决方案是怎么用的呢,以前都是一层一层,层级跟层级,那现在我在解决方案里分层级.在业务流程里是层级的实现,就是一层里的一张张的表,这样是可以的吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,业务流程和解决方案是两个不同的概念。业务流程是指数据从源系统到目标系统的处理过程,包括多个节点和依赖关系。而解决方案则是一组业务流程的集合,用于解决特定的业务问题或需求。
在解决方案中分层级是可以的,您可以将相关的业务流程组织在一起,形成一个层次结构。例如,您可以将数据采集、清洗、转换等业务流程放在一个层次结构中,然后将这些业务流程组合成一个解决方案。这样可以使整个数据处理过程更加清晰和易于管理。
在业务流程中实现一层里的一张张表也是可以的。您可以将每个节点看作是一个具体的任务或操作,例如从源系统中读取数据、进行数据清洗、转换等。每个节点都可以包含多个子任务或操作,这些子任务或操作可以按照一定的顺序执行,从而实现整个业务流程的处理过程。
在DataWorks中,您可以使用业务流程和解决方案来组织和管理数据开发过程。业务流程可以帮助您定义数据开发任务的执行顺序和依赖关系,而解决方案则可以帮助您封装和复用数据开发过程中的常用组件和配置。
在使用业务流程和解决方案时,您可以将数据开发过程分解为多个层级,每个层级可以包含一张或多张表。这样做的好处是可以更好地组织和管理数据开发过程,使其更易于理解和维护。同时,通过封装和复用解决方案,可以减少重复的工作,提高数据开发的效率和质量。
DataWorks的业务流程和解决方案是用来组织和管理数据开发任务的工具。业务流程是一个抽象实体,用于描述业务逻辑和数据处理流程。解决方案是业务流程的具体实现,它包含一系列的任务和组件,用于实现业务流程的逻辑和数据处理流程。
以前,数据开发任务通常是一层一层的,每一层都包含一张表或一组表。现在,您可以在解决方案中分层级,每一层都包含一组任务和组件。业务流程是用来描述这些任务和组件的逻辑和数据处理流程。例如,您可以创建一个业务流程,用于描述从源数据源获取数据、进行数据清洗、转换和分析的过程,然后在解决方案中创建一系列的任务和组件,用于实现这个业务流程的逻辑和数据处理流程。
数据准备:业务流程和解决方案可以指导数据准备过程,包括数据清洗、数据转换、数据整合等。通过使用业务流程和解决方案,可以确保数据准备过程的一致性和规范性。
数据模型设计:业务流程和解决方案可以指导数据模型设计过程,包括数据模型的定义、数据模型的验证、数据模型的优化等。通过使用业务流程和解决方案,可以确保数据模型设计过程的一致性和规范性。
数据集成:业务流程和解决方案可以指导数据集成过程,包括数据源的配置、数据的抽取、数据的转换、数据的加载等。通过使用业务流程和解决方案,可以确保数据集成过程的一致性和规范性。
数据质量控制:业务流程和解决方案可以指导数据质量控制过程,包括数据的验证、数据的清洗、数据的校验等。通过使用业务流程和解决方案,可以确保数据质量控制过程的一致性和规范性。
创建业务流程https://help.aliyun.com/zh/dataworks/user-guide/create-a-workflow?spm=a2c4g.11186623.0.i131
DataWorks的业务流程开发结构满足根据业务视角来组织数据开发任务的需求,也提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程,以及批量修改或删除业务流程中的节点。
背景信息
一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程,一个业务流程是多种类型对象的集合,对象的类型包括数据集成、MaxCompute、Hologres、EMR等引擎节点(例如MaxCompute的SQL节点、MaxCompute表节点)。
每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。
周期业务流程与手动业务流程
DataWorks提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景,这两类业务流程均可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行,对比区分如下。
解决方案相当于自定义的组合业务流程 具体可以参考看下 https://help.aliyun.com/zh/dataworks/user-guide/create-a-solution?spm=a2c4g.11186623.0.i10这部分 ,业务流程里面是一个个的节点 产出表数据
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks数据开发中,业务流程和解决方案可以根据具体需求进行设计和实现。早期的做法是使用一层一层、层级跟层级的方式进行数据开发,但现在可以在解决方案里进行分层级的设计,并在业务流程中以表的形式展示。
使用解决方案进行分层级设计可以更好地组织和管理数据开发任务,使其更具可读性和可维护性。您可以在解决方案中创建多个数据表(即不同层级),并将它们按照业务逻辑关系进行组织,以便更好地理解数据处理流程。
在业务流程中,可以使用表来表示数据流动和处理的逻辑。您可以定义每张表的输入源和输出目标,然后将它们以节点的形式连接起来,形成数据处理流程。每个节点都可以代表一个数据处理任务,例如ETL转换、数据清洗、数据计算等。通过节点之间的关联和顺序,可以建立数据处理的流程和依赖关系。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。