DataWorks空间规划是指在数据存储和管理过程中,为了优化性能和安全性,而对空间进行的有计划的分配和管理。空间规划的优点包括:
提高性能:通过空间规划,可以优化数据存储的结构和分布,减少数据检索和访问的时间和资源消耗,从而提高数据的查询和数据处理效率。 保护数据安全:空间规划可以实现对数据的分片、备份和冗余,降低数据丢失或损坏的风险,保护数据的安全性和完整性。 简化管理:通过对空间进行规划,可以实现对数据的统一管理和分类,降低数据管理的复杂度和难度,提高数据管理的效率和准确性。 支持分布式处理:空间规划可以实现数据的分布式存储和处理,将数据分散到多个节点上进行存储和处理,提高数据处理和查询的性能和负载均衡能力。 支持多维分析:空间规划可以支持多维数据分析,将数据按照多维方式组织,方便进行复杂的数据分析和挖掘。 总之,空间规划可以提高数据处理效率、保护数据安全、简化数据管理、支持分布式处理和支持多维数据分析。
**工作空间规划可按照公司部门、公司业务或数仓层次进行规划,或综合三种维度进行混合规划:细分 按部门划分 按业务划分 按数仓层次划分 划分依据 工作空间的划分可以与公司的组织架构相一致。 例如:生产部、营销部、人力资源部、财务部等。各工作空间承载部门内部的数据开发需求,管理各自的数据表。 工作空间的划分也可以根据具体业务项目规划。 例如:“季度销售冲刺战役”、“春季安全生产大检查”或“高管驾驶舱报表”等。各业务项目涉及多个横向部门,对接多个业务系统的数据,汇总加工,形成数据产出。 按照数仓的层级结构划分工作空间,每一层可以有独立的一个或多个工作空间。 例如:“统一数据接入”、“ODS层”、“数仓汇总层”等。 适用场景 部门业务单一,部门内部人员具备开发能力,数据共享场景较少,单一部门即可完成端到端业务开发。 业务优先的攻坚项目,多部门联合项目。 大型数仓,企业数仓公共层,数据中台。 优点 工作空间成员与组织架构一致,人员最稳定,数据安全性最高。同时计算、存储成本归属清晰。 工作空间内业务专一,人员可根据业务动态调整,数据链路清晰,易运维。 数据架构清晰,共享便利,人员开发技能要求单一,可根据各层特性分配不同资源。 缺点 容易形成数据烟囱,数据重复计算、重复存储,跨空间依赖复杂,资源易争抢。 数据架构不清晰,各业务口径不一致,工作空间内人员复杂,数据安全风险高。 开发周期长,运维链路长,标准模式下上层任务正式发布前需要修改代码。 架构稳定性 ★★★★★ ★☆☆☆☆ ★★★★★ 人员灵活性 ★☆☆☆☆ ★★★★★ ★★★★☆ 业务复杂度 ★★☆☆☆ ★★★★☆ ★★★☆☆ 数据安全 ★★★★★ ★★☆☆☆ ★★★☆☆ 可运维性 ★★☆☆☆ ★★★★★ ★★☆☆☆ 数据共享 ★★★☆☆ ★☆☆☆☆ ★★★★★以上三种划分模式可以混合使用,以综合各自优点。一种常用的混合策略是整体按数仓层次划分,但各层内部并非单一工作空间,而是进一步划分为多个工作空间。数据接入层(STG):按应用系统划分,例如“stg_营销系统”、“stg_生产管理系统”等。任务节点:只有数据集成任务。数据表:只有原始数据,生命周期短。空间成员:各应用系统的DBA。资源倾斜:数据集成资源组、存储空间。数据清洗层(ODS):按部门划分,不同部门内数据统一口径,清洗掉不宜公开的数据,例如“ods https://help.aliyun.com/document_detail/206532.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。