开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks空间规划的优点有哪些?

dataworks空间规划的优点有哪些?

展开
收起
真的很搞笑 2023-04-30 23:53:11 188 0
2 条回答
写回答
取消 提交回答
  • DataWorks空间规划是指在数据存储和管理过程中,为了优化性能和安全性,而对空间进行的有计划的分配和管理。空间规划的优点包括:

    提高性能:通过空间规划,可以优化数据存储的结构和分布,减少数据检索和访问的时间和资源消耗,从而提高数据的查询和数据处理效率。 保护数据安全:空间规划可以实现对数据的分片、备份和冗余,降低数据丢失或损坏的风险,保护数据的安全性和完整性。 简化管理:通过对空间进行规划,可以实现对数据的统一管理和分类,降低数据管理的复杂度和难度,提高数据管理的效率和准确性。 支持分布式处理:空间规划可以实现数据的分布式存储和处理,将数据分散到多个节点上进行存储和处理,提高数据处理和查询的性能和负载均衡能力。 支持多维分析:空间规划可以支持多维数据分析,将数据按照多维方式组织,方便进行复杂的数据分析和挖掘。 总之,空间规划可以提高数据处理效率、保护数据安全、简化数据管理、支持分布式处理和支持多维数据分析。

    2023-05-23 18:48:03
    赞同 展开评论 打赏
  • **工作空间规划可按照公司部门、公司业务或数仓层次进行规划,或综合三种维度进行混合规划:细分 按部门划分 按业务划分 按数仓层次划分 划分依据 工作空间的划分可以与公司的组织架构相一致。 例如:生产部、营销部、人力资源部、财务部等。各工作空间承载部门内部的数据开发需求,管理各自的数据表。 工作空间的划分也可以根据具体业务项目规划。 例如:“季度销售冲刺战役”、“春季安全生产大检查”或“高管驾驶舱报表”等。各业务项目涉及多个横向部门,对接多个业务系统的数据,汇总加工,形成数据产出。 按照数仓的层级结构划分工作空间,每一层可以有独立的一个或多个工作空间。 例如:“统一数据接入”、“ODS层”、“数仓汇总层”等。 适用场景 部门业务单一,部门内部人员具备开发能力,数据共享场景较少,单一部门即可完成端到端业务开发。 业务优先的攻坚项目,多部门联合项目。 大型数仓,企业数仓公共层,数据中台。 优点 工作空间成员与组织架构一致,人员最稳定,数据安全性最高。同时计算、存储成本归属清晰。 工作空间内业务专一,人员可根据业务动态调整,数据链路清晰,易运维。 数据架构清晰,共享便利,人员开发技能要求单一,可根据各层特性分配不同资源。 缺点 容易形成数据烟囱,数据重复计算、重复存储,跨空间依赖复杂,资源易争抢。 数据架构不清晰,各业务口径不一致,工作空间内人员复杂,数据安全风险高。 开发周期长,运维链路长,标准模式下上层任务正式发布前需要修改代码。 架构稳定性 ★★★★★ ★☆☆☆☆ ★★★★★ 人员灵活性 ★☆☆☆☆ ★★★★★ ★★★★☆ 业务复杂度 ★★☆☆☆ ★★★★☆ ★★★☆☆ 数据安全 ★★★★★ ★★☆☆☆ ★★★☆☆ 可运维性 ★★☆☆☆ ★★★★★ ★★☆☆☆ 数据共享 ★★★☆☆ ★☆☆☆☆ ★★★★★以上三种划分模式可以混合使用,以综合各自优点。一种常用的混合策略是整体按数仓层次划分,但各层内部并非单一工作空间,而是进一步划分为多个工作空间。数据接入层(STG):按应用系统划分,例如“stg_营销系统”、“stg_生产管理系统”等。任务节点:只有数据集成任务。数据表:只有原始数据,生命周期短。空间成员:各应用系统的DBA。资源倾斜:数据集成资源组、存储空间。数据清洗层(ODS):按部门划分,不同部门内数据统一口径,清洗掉不宜公开的数据,例如“ods https://help.aliyun.com/document_detail/206532.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-01 17:02:45
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多