开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks一个业务流程是一个指标的实现,还是一层里单个表的实现?

DataWorks一个业务流程是一个指标的实现(从ods -> ... ->ads),还是一层里单个表的实现(比如dwd_下单事实表)?

展开
收起
cuicuicuic 2023-10-16 22:06:39 50 0
7 条回答
写回答
取消 提交回答
  • DataWorks中的业务流程是对数据从源到目标的完整处理过程的描述,而不仅仅是一个指标或单个表的实现。例如,它可能包括从ods到ads的各个层次的数据转换和清洗操作。在DataWorks中,可以创建周期业务流程和手动业务流程两种类型的任务,以满足不同的调度需求。

    同时,DataWorks也支持对业务流程进行详细的配置和管理。例如,可以在数仓规划页面的左侧导航栏中,单击公共层 > 业务过程,进入业务过程页面,创建和编辑业务过程,配置各项参数。此外,还可以在业务流程中创建节点并配置依赖关系,以便更深入地分析和计算工作空间的数据。

    因此,总的来说,DataWorks中的一个业务流程是对整个数据处理过程的描述,而不仅仅是单个表或指标的实现。这种设计使得DataWorks能够更好地满足复杂的数据处理和分析需求。

    2023-10-31 23:58:10
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    在DataWorks中,一个业务流程可能涵盖多个功能节点,这些节点之间的依赖关系会形成一个网络结构,称为血缘关系。这种结构可以是一个指标的实现,如从ods到ads的全过程,也可以是一层里单个表的实现,比如dwd_下单事实表。

    具体来说,DataWorks提供了周期业务流程和手动业务流程两种。这两种业务流程都可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行。业务过程是企业在指定的数据域中所执行的业务活动,是数据建模所需要分析的逻辑主体。例如,交易域中可以有加入购物车、下单、支付等业务过程。

    因此,根据业务需求,您可以将同类型的业务统一放置到一个业务流程中,无论是整个指标的实现,还是单个表的操作。这样,无论您正在处理的是复杂的业务场景还是简单的数据任务,DataWorks都能为您提供灵活、方便的数据开发和管理工具。

    2023-10-17 16:00:54
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,一个业务流程可以是一个指标的实现,也可以是一个表的实现。具体取决于业务需求和设计。如果一个指标的实现需要多个数据源和多个操作,那么它可能需要多个业务流程来实现。如果一个表的实现只需要一个数据源和一个操作,那么它可能只需要一个业务流程来实现。

    2023-10-17 14:02:05
    赞同 展开评论 打赏
  • 在DataWorks中,一个业务流程通常是一个指标的实现,而非单个表的实现。业务流程是DataWorks中的一个核心概念,用于表示数据处理的整个过程,包括数据源连接、数据清洗、数据转换、数据存储等步骤。业务流程通常用于实现复杂的数据处理任务,例如从ODS源到ADS源的数据同步、数据报表生成等。
    一个业务流程通常由多个步骤组成,每个步骤可以对应一个或多个数据处理任务。例如,一个业务流程可能包括从ODS源获取数据、清洗数据、转换数据、存储数据等多个步骤。每个步骤都对应一个或多个数据处理任务,例如从ODS源获取数据的任务可能包括连接ODS源、查询ODS数据等任务。
    因此,DataWorks的一个业务流程通常是一个指标的实现,而非单个表的实现。业务流程用于实现复杂的数据处理任务,包括从ODS源到ADS源的数据同步、数据报表生成等。

    2023-10-17 11:40:34
    赞同 展开评论 打赏
  • 一个工作空间可以支持多种类型的计算引擎,也可以包含多个业务流程,一个业务流程是多种类型对象的集合,对象的类型包括数据集成、MaxCompute、Hologres、EMR等引擎节点(例如MaxCompute的SQL节点、MaxCompute表节点)。

    每种对象类型对应一个独立的文件夹,在每个对象类型文件夹下,支持继续创建子文件夹。为了便于管理,建议子文件夹的层数不要超过4层。 如果超过4层,可能说明您规划的业务流程结构过于复杂,建议将该业务流程拆分成两个或多个业务流程,并将相关的业务流程收纳到一个解决方案中进行管理,提升工作效率。

    https://help.aliyun.com/zh/dataworks/user-guide/create-a-workflow?spm=a2c4g.11186623.0.i118

    周期业务流程与手动业务流程
    DataWorks提供了周期业务流程和手动业务流程两种,以满足需要周期性调度和无需周期性调度手动触发运行的场景,这两类业务流程均可以在数据开发(DataStudio)中开发对应的开发任务,然后提交到运维中心实现在生产环境运行,对比区分如下。

    image.png

    2023-10-17 08:43:08
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在DataWorks中,业务流程可以从不同的层面来设计和实现。一般来说,业务流程是指整个数据处理过程中各个阶段的顺序和逻辑,而单个表属于某一个具体的数据处理阶段。

    因此,您可以将整个数据处理过程划分为多个层级,例如ODS(原始数据层)、DWD(数据仓库层)、ADS(应用数据层)等。每个层级可以包含多张表,用于处理和存储不同层级的数据。在业务流程中,您需要按照各个层级之间的顺序和逻辑来配置节点,以便实现整个数据处理流程。

    举例来说,假设您需要实现一个电商网站的订单处理流程,那么可能包含的几个层级和表如下:

    • ODS层级:包括原始订单数据表、用户信息数据表等。
    • DWD层级:包括订单事实表、用户维度表等,用于处理和聚合ODS层级的数据,并将其转化为适合ADS层级使用的格式。
    • ADS层级:包括用户购买偏好表、商品销售排名表等,用于提供给应用程序使用的数据。

    在业务流程中,您可以按照以上各个层级的顺序和逻辑配置节点,例如从ODS层级的原始数据表开始,通过ETL转换、清洗、聚合等操作,逐步将数据导入到DWD和ADS层级的相关表中。通过这种方式,您可以实现整个订单处理流程的自动化、高效和可靠。

    2023-10-17 08:09:39
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多