开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢?

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢?

展开
收起
cuicuicuic 2023-07-13 09:46:34 926 1
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 DataWorks 中,数据分层的设计通常包括以下几个层次,每个层次的作用和功能不同,具体如下:
    STG 层(Stage Layer):用于接收原始数据并进行简单的初步处理,包括数据的抽取、转换和加载等。STG 层通常不进行数据清洗和加工,只对数据进行简单的处理和格式转换,以便后续的数据处理和分析。
    ODS 层(Operational Data Store):用于存储处理过的业务数据的中间层,通常包括数据清洗、数据加工、数据集成和数据计算等过程。ODS 层的设计应该能够满足数据分析和报表等业务需求,同时具有可扩展性和灵活性。
    DWD 层(Data Warehouse Detail):用于存储具体的业务数据,通常包括数据清洗、数据加工和数据计算等过程。DWD 层的设计应该能够满足数据分析和数据挖掘等业务需求,同时具有高效性和可维护性。
    DWS 层(Data Warehouse Service):用于提供数据分析和查询服务,通常包括数据聚合、数据计算和数据挖掘

    2023-07-30 18:16:45
    赞同 展开评论 打赏
  • 在DataWorks中,常见的数据分层架构包括STG层、ODS层、DWD层和DWS层,它们按照不同的目标和处理方式进行数据的逐步加工和整理。

    以下是每个层次的简要说明:

    1. STG(Stage)层:STG层是数据集成的初始阶段,主要用于接收和存储原始数据,通常以源系统为基础。在STG层中,数据不做任何转换或聚合,仅进行简单的清洗和备份。

    2. ODS(Operational Data Store)层:ODS层是从STG层抽取和整理数据的操作性数据仓库层。在ODS层,数据被集成、加工和校验,以满足实时或近实时的查询需求。ODS层通常保留了原始数据的完整性,允许对数据进行简单的计算、聚合和变换。

    3. DWD(Data Warehouse Detail)层:DWD层是一个面向主题的详细数据仓库层。在DWD层中,数据进行了进一步的清洗、整合和转换,并生成具有高度可读性的、面向业务需求的数据模型。DWD层通常用于支持复杂的分析和报表需求,提供决策支持。

    4. DWS(Data Warehouse Summary)层:DWS层是一个面向主题的汇总数据仓库层。在DWS层中,数据经过进一步的汇总和聚合,以满足更高级别、更宽广的分析需求。DWS层通常用于生成关键业务指标(KPI),提供高性能的查询和报表功能。

    2023-07-13 13:21:45
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多