谈谈电力企业基于数据资产管理体系的架构设计

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
数据安全中心,免费版
简介: 本文在设计完善的数据资产管理体系的基础上,开展全面的数据资产梳理和标准化,对数据资产管理平台架构进行了构建,使其能够在实际的数据资产管理中发挥一定的作用。

摘要:针对当前电力企业海量的电力数据,如何对这些数据进行资产化的管理,建立用数据说话、用数据决策、用数据管理、用数据创新的管理新机制,是当前电力企业研究的重点。本文在设计完善的数据资产管理体系的基础上,开展全面的数据资产梳理和标准化,对数据资产管理平台架构进行了构建,使其能够在实际的数据资产管理中发挥一定的作用。

关键词:电力;数据资产化;数据资产管理

1 数据资产管理体系设计

从数据管理理论发展来看,最早可以追溯至上世纪60年代,而随着技术的演进和实践的开展,相关理论体系也在不断丰富完善、推陈出新。但由于研究视角和术语定义的差异,截至目前,尚未形成一套获得各方共识、并经大量实践验证的理论框架。为此,本文将借鉴国内外数据资产管理先进理论的基础上,结合公司发展现状及面临的实际问题,提出数据资产管理框架定义了一套环环相扣、务实可行的管理体系,它主要职能活动描述了数据资产管理的具体工作,包括了战略规划、数据治理和数据运营等三个领域15项活动,通过界定各项活动的职能定位和内在联系,相对完整的覆盖了公司要实现的数据资产管理工作方向。数据资产管理体系框架图如图1中所示。

3c7d85e07d4018606d9f19f17c03a33c.png

图1 数据资产管理体系

1.1 数据战略

数据战略是数据资产管理成为企业战略核心任务应用的重要部分,指导监督了数据治理和数据运营等职能活动的开展,是数据资产得到内外部应用的执行蓝图。数据战略职能活动包括了数据战略规划、数据战略实施和数据战略评估三项具体活动:

(1)数据战略规划。数据战略规划是公司内部数据资产管理利益相关者达成共识的过程,需要对企业所处的数据战略环境进行分析、评价,提供未来明确的数据发展目标及方向,进而确定长期发展路径和近期实施任务。它包括了愿景陈述、明确范围、差距分析、路线选择、角色定义、责任划分、战略发布、持续修订等一系列工作内容。

(2)数据战略实施。数据战略实施是将数据战略规划阶段所确定的意图性战略转化为具体的组织行动,并通过指挥、协调、控制及资源保障来确保实现战略预定目标的过程。它包括了实施路径、工作方法、保障计划、任务实施、过程监控、指导协调等一系列工作内容。

(3)数据战略评估。数据战略评估通过对影响并反映数据战略管理质量的各要素的总结和分析,判断数据战略是否实现预期目标,它包括了对目前战略制定后的内外部环境的变化进行分析,对目前战略的实施结果进行评估,以及对目前战略做必要的修改。

1.2 数据治理

数据治理职能活动的主要目标是持续提高各类数据资产的质量和保证数据使用的安全可控,主要工作包括:数据标准管理、数据架构管理、元数据管理、数据资产目录管理、主数据管理、数据质量管理、数据安全管理等7项活动。(1)元数据管理。元数据是“数据的数据”,主要描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。如同给数据建立档案,通过增加对数据的各种属性描述,支持相关扩展管理。而元数据管理是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。元数据管理主要工作包括元数据的识别、元数据的创建、元数据的采集、元数据的变更、元数据的维护和元数据的稽核等。

(2)数据目录管理。数据资产目录是指企业数据实现资产化后,记载企业存储各类数据资产位置、数据内容、使用方式、增减变化等基本信息,并附加数据资产管理不同属性描述的企业数据资产明细。数据目录管理主要是指按照特定的分类方法建立一组信息,用以描述全公司各业务事项的数据资产特征,以便于进行检索、定位与获取等操作。数据目录管理主要工作包括编制梳理模板、建立事项分类、明确管理要求、目录编制、发布、更新、维护等。

(3)数据标准管理。数据标准是公司层面共同遵守的数据含义、应用规则和统一解释,是保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理是指数据标准的制定和实施的一系列活动,关键工作包括:理解数据标准化需求、制定数据标准体系和规范、推动数据标准的执行落地、数据标准化变更维护等。

(4)数据架构管理。数据架构是企业信息化架构的一部分,描述了全企业数据资产的分布和数据的流向以及重要系统间的关系,并且定义了数据的采集、清洗、流转、分发和使用过程中用到的技术工具和技术标准,其目标是为实现数据资产集中化、可控化管理和维护提供保证。数据模型管理是数据架构管理中的重要组成,是指用数据对象实体、数据项属性及其关系对企业运营和管理过程中涉及的所有业务概念和业务数据对象进行统一定义、命名和编码,并以合理的方式进行重组。数据架构管理的关键工作包括规划企业级数据架构及数据模型、设计数据架构及模型、评审数据架构及模型、实施数据架构及模型。(5)主数据管理。主数据也称基准数据,是指系统间的核心共享数据,用来描述企业核心业务实体的数据,是企业核心业务对象、交易业务的执行主体,是在整个价值链上被重复、共享应用于多个业务流程的、跨越各个业务部门、各个系统之间共享的、高价值的基础数据,是各业务应用和各系统之间进行信息交互的基础。主数据管理是以主数据为对象开展的一系列管理活动,关键工作包括:理解主数据的整合需求、主数据的识别、主数据的创建、主数据的采集、主数据的变更和主数据的使用等。

(6)数据质量管理。数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。数据质量管理工作中的关键工作包括:定义数据质量需求、分析和评估数据质量、定义数据质量规则和测量指标、持续测量和监控数据质量、分析产生质量问题的根本原因、制定数据质量改善方案、清洗和纠正数据质量缺陷、设计并实施数据质量管理工具、监控数据质量管理操作程序和绩效等。

(7)数据安全管理。数据安全管理是指对数据设定安全等级,建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。数据安全管理的关键工作包括理解数据安全相关法律法规要求、定义数据安全标准、划分数据安全等级、定义业务敏感数据对象、定义数据安全策略、定义数据安全控制及措施、数据安全审计、数据安全应急预案和数据安全教育培训等。

1.3 数据运营

数据运营是通过管理数据资产的配置、使用和维护,从而改善内部响应效率,提升数据资产效益的重要手段。数据运营职能活动包括数据需求管理、数据服务管理、数据运维管理、数据共享开放、数据效益评估等内容,具体工作要求如下:

(1)数据需求管理。数据需求管理是指对公司业务运营、经营分析和战略决策等活动所需数据的分类、分布和流转等进行管理的过程。数据需求管理需要建立相应的组织、制度和流程,从而对需求收集、需求评审、需求更新及需求归档进行有效管理。

(2)数据服务管理。数据服务主要是指按照使用要求,对数据进行加工处理,形成标准化的数据提供途径,从而面向消费端提供数据支撑的过程。数据服务管理则是对服务内容、服务过程、服务质量、服务效率等要素进行管理的过程。数据服务通常可以分为八类,包括数据集、API接口、数据报表、数据报告、数据标签、数据订阅、数据组件、数据应用等。通过数据服务的开发,能够提前封装满足使用需要的结构内容,支持规模化发展,更好更快的响应数据使用需求。

(3)数据运维管理。主要是指数据平台或相关数据服务建设完成上线投入运营后,对数据采集、数据处理、数据存储等过程的日程运行及其维护过程,保证数据平台或相关数据服务的正常运行,为数据使用者提供持续可用的数据内容。数据运维管理包括数据生命周期的运维管理,日常运维,监控,事件和问题管理,统计分析和优化,应急管理及预案等内容。

(4)数据共享开放。数据共享开放主要是指公司内部各部门、各单位通过数据交换渠道互相获取数据,以及公司对外部单位提供数据的过程,包含了实现数据使用价值的一系列活动。数据共享开放需要以合规安全的形式完成共享交换或开放发布,使得数据具有流通属性,能方便数据消费者使用,同时,还要按照相关管理策略引入外部数据供组织内部使用。数据共享开放是实现数据跨部门、跨组织、跨行业流转的重要前提,也是数据价值最大化的基础。

(5)数据效益评估。主要指对数据运营活动的工作质量、效益水平、应用范围和成熟程度等予以客观的、具体的、恰当的评价。公司信息部门牵头组织数据效益评估,设定考核目标、考核内容以及评分标准,并开展对数据运营的执行和管理情况进行考核评价。数据效益评估的价值不仅仅在可以定性或定量的评价数据运营工作的效益,更重要的是要分析问题,提出改进方向,并落实改进措施。

2 数据资产梳理和标准化

依托数据资产管理体系构建的总体框架,按照“统一管理、协同配合”的工作思路,遵循“有效整合、全面提升”的工作方法,首先全面和准确地评价公司元数据的现状及进行元数据梳理,实现数据的“登记造册”及元数据的标准化,构建数据资产目录,作为公司数据资产应用、维护、运营的基础,提升数据资产协同共享水平,促进公司竞争性业务的发展,为企业开展数据治理和运营建立基础;其次,建立健全数据资产管理领域的规章制度,通过制定管理办法、指导意见和业务指导书等方式规范全公司数据资产管理的各项工作开展,确保数据资产管理“有法可依”。

2.1 梳理全业务元数据

由于之前对元数据的管理不够重视,相应的管理体系、制度、能力方面均存在着较大空白,对公司目前各系统的元数据基本情况缺乏应有的了解和掌握,因此对全公司、全领域、全业务的元数据进行全面梳理,组织各业务部门进行科学分工,采用“专业责任制”,开展面向全公司、全领域、全业务(管理信息化+计量自动化+调度自动化)的元数据全面梳理工作,提炼关键信息和关联关系,整理形成全公司完整的元数据清单。

2.2 编制数据资产目录

结合公司对各系统元数据的全面梳理工作,提炼关键信息和关联关系,根据数据资产目录的构建要求,提供相关业务信息、管理信息、安全要求等内容,整理形成全公司统一的数据资产目录,作为公司数据资产应用、维护、运营的基础;在企业级数据资产目录的基础上,针对数据内部共享和数据对外开放的实际需要,增加共享类型、共享方式、共享权限等具体管理信息,明确可开放数据的敏感程度以及相应的安全保障措施,形成公司数据共享目录和数据开放目录。

2.3 梳理数据交互接口

不同系统之间存在着海量的数据直接交互接口,技术实现方式也多种多样,整体情况信息部门难以掌握,也对数据交互的规范化管理提出了更高的挑战。因此,组织对公司所有系统(包括管理信息系统、计量自动化系统和生产自动化系统)之间数据交互情况和接口的全面梳理,对现有的数据交互接口进行整理归类,对于明显不符合公司规定或存在违规、安全风险的数据交互接口,制定详细整改计划进行整改。

2.4 梳理主数据统一定义

主数据定义了企业核心业务对象,需要确保其唯一性、时效性和准确性。公司存在主数据多源头采集的问题,造成了数据冗余和存储浪费,带来管理困难和数据不一致的风险。因此,组织对全公司范围内的主数据全面梳理和重新定义,充分结合生产运行系统相关人员的实际需求和建议,明确所有主数据的唯一来源定义。

2.5 制定管理标准规范

公司在数据标准方面存在着严重缺失,各部门在数据生产过程中缺乏标准依据,各自为阵,不同系统之间模型、字段无法匹配,客观上加重了公司内部数据使用、共享、流通的障碍。因此,建立健全公司统一的数据资产管理标准体系,覆盖数据资产管理的全生命周期,包括数据创建、变更、采集、开发、应用、销毁、归档,编制元数据、主数据、数据接口、数据模型、数据安全等各领域标准手册,确保数据资产管理标准化和后续工作有序开展。

3 数据资产管理平台构建

数据资产管理平台的架构综合数据资产管理体系设计的成果,并根据具体的数据管理要求进行设计,以保证数据资产管理能力体系的合理性,为公司数据资产管理提供坚实的技术保障。在本文结合数据资产的管理活动进行了设计,并抽象成平台功能,实现数据管理职能落地,总体架构图即为图2中所示。在整个架构中主要涵盖了数据共享开放目录、元数据管理、数据质量管理、数据开发管理、数据生命周期管理、数据安全管理等六个部分。

e30df54310e679c389b1af070306c97d.png

图2数据资产管理平台总体架构图

3.1 数据共享开放目录

数据共享开放目录是对信息或数据进行分类组织的方法。在数据资产管理平台中,数据目录的主要作用是方便用户查找数据、理解数据、申请数据和使用数据。数据目录包括元数据目录、数据资产目录、精品数据目录和指标目录。

3.2 元数据管理

在数据资产管理平台中,元数据管理属于最为基础的部分。通过对相关元数据的梳理、录入,可建立完整的元数据使用体系,使整个公司数据管理工作正常运营。具体而言,元数据管理主要是从元数据的安全要素,管理要素,业务要素,技术要素几个方面保证元数据体系的规范化建立,并在平台元数据录入和使用过程中,保证元数据的完整性和有效性,从而保证整个数据系统的正常运营,提高元数据质量。

3.3 数据质量管理

数据质量管理功能从数据使用角度监控管理数据资产的质量,针对数据质量管理职能而开发,实现数据质量规则定义、修编等流程支撑,并通过集成各业务系统的数据源,对公司的数据质量进行数据质量策略设定和考核。数据质量管理功能主要包括质量需求管理、规则设置、规则校验、任务管理、监控分析、质量报警、报告生成。

3.4 数据开发管理

数据资产管理平台需要对公司的数据需求管理和数据开发提供良好支撑。应用项目组可通过该工具进行数据需求筛选,避免数据大量的数据访谈工作。可设置数据审批权限,使得信息部门可以在线上审核应用项目组的数据需求。数据建模和对开发过程的管控也能够更有助于开发效率的提高和对数据质量的保证。

3.5 数据生命周期管理

公司对于数据生命周期管理意识较为淡薄,数据生命周期管理覆盖面也较小,仅对一些重要的数据提出了数据保留的原则,覆盖面极小,且没有进一步的细化。并且,数据生命周期管理零散随意,业务部门单独决定系统中删除哪些数据,直接通过数据库管理环境进行删除。在删除之前没有明确的流程,也不会进行跨专业、跨部门的数据关联性分析。数据生命周期管理模块主要从数据上线、数据监控、存储优化、数据下线四方面对数据的全生命周期进行管控,保证数据在生命周期各阶段都有对应的管控措施。

3.6 数据安全管理

公司在系统安全管理完善,执行情况良好。但数据安全层面认知相对就较浅,缺乏企业级的数据安全策略,数据权限管理粒度较粗。数据安全管理功能旨在通过体系化方式,梳理公司数据安全相关策略,进行全方位安全管控,通过多种防护手段保障数据安全,做到数据安全的“事前可管、事中可控、事后可查”。数据安全管理主要包括数据安全策略、数据权限管控、数据安全网关、数据加密解密、数据模糊化、数据安全审计。

4 结束语

通过上述的设计和实践看出,要实现电力数据资产管理,需要构建完善的数据资产管理体系,为数据资产管理工作提供理论基础;其次,在统一的体系框架下,有序开展数据资产现状的梳理和标准化制定,形成数据资产管理制度和数据资产内容清单;最后综合数据资产现状的梳理和标准化制定的成果,并根据具体的数据管理要求进行设计,为数据资产管理提供坚实的技术保障。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
24天前
|
运维 供应链 安全
SD-WAN分布式组网:构建高效、灵活的企业网络架构
本文介绍了SD-WAN(软件定义广域网)在企业分布式组网中的应用,强调其智能化流量管理、简化的网络部署、弹性扩展能力和增强的安全性等核心优势,以及在跨国企业、多云环境、零售连锁和制造业中的典型应用场景。通过合理设计网络架构、选择合适的网络连接类型、优化应用流量优先级和定期评估网络性能等最佳实践,SD-WAN助力企业实现高效、稳定的业务连接,加速数字化转型。
SD-WAN分布式组网:构建高效、灵活的企业网络架构
|
9天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
9天前
|
运维 Cloud Native Devops
云原生架构:重塑企业IT的未来####
随着数字化转型浪潮的汹涌,云原生架构凭借其高度灵活、可扩展和高效的特性,正逐步成为企业IT系统的核心。本文将深入探讨云原生架构的核心要素、技术优势以及如何引领企业实现业务创新与敏捷交付。 ####
|
1月前
|
存储 人工智能 算法
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
为了帮助更多人掌握大模型技术,尼恩和他的团队编写了《LLM大模型学习圣经》系列文档,包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构,基于LLM+RAG构建生产级企业知识库》和《从0到1吃透大模型的顶级架构》。这些文档不仅系统地讲解了大模型的核心技术,还提供了实战案例和配套视频,帮助读者快速上手。
精通RAG架构:从0到1,基于LLM+RAG构建生产级企业知识库
|
24天前
|
Cloud Native Devops 持续交付
云原生架构:重塑企业IT的无形之手####
本文旨在探讨云原生架构如何成为推动企业数字化转型的核心动力,它不仅是一种技术升级,更是业务与开发模式的深刻变革。通过剖析云原生的核心要素——微服务、容器化、持续集成/持续部署(CI/CD)、以及DevOps文化,本文揭示了这一架构如何提升系统的弹性、可扩展性和敏捷性,为企业在竞争激烈的市场环境中赋予快速响应和创新的能力。不同于传统综述,本文将以一个虚构案例贯穿始终,直观展示云原生架构从理论到实践的转化过程,为读者提供一幅生动的技术蓝图。 --- ###
|
1月前
|
运维 Cloud Native 安全
云原生架构:企业数字化转型的新引擎##
【10月更文挑战第2天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效、灵活和创新的核心驱动力。本文深入探讨了云原生的概念、核心技术如容器化、微服务和DevOps等,并分析了这些技术如何共同作用,推动企业在云平台上实现快速迭代、弹性扩展和资源优化。同时,文章还阐述了云原生在实际应用中面临的挑战及相应的解决策略,为企业的数字化转型提供全面而深入的指导。 ##
52 17
|
1月前
|
运维 Cloud Native 持续交付
探索云原生架构:企业数字化转型的新引擎
在当今数字化浪潮中,云原生架构以其独特的优势成为企业转型的关键。它通过容器化、微服务、DevOps和持续交付等技术,使企业能够快速响应市场变化,实现应用的高效开发、部署和运维。本文将深入探讨云原生的概念、核心技术及其在现代IT环境中的重要性。
|
1月前
|
Kubernetes 监控 Cloud Native
探索云原生架构:企业数字化转型的新引擎
【10月更文挑战第5天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效、灵活和可扩展的关键。本文将深入探讨云原生的核心概念、关键技术以及实际应用案例,揭示其在推动企业数字化转型中的重要作用。
34 6
|
1月前
|
运维 Kubernetes Cloud Native
探索云原生架构:企业数字化转型的新引擎
【10月更文挑战第9天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效运营和快速创新的关键。本文将深入探讨云原生的核心概念、关键技术以及实际应用案例,揭示其如何助力企业加速数字化转型步伐。通过对云原生技术的剖析,我们将看到这一新兴架构是如何重新定义软件开发、部署和运维模式的,进而推动企业在激烈的市场竞争中脱颖而出。
|
1月前
|
监控 Cloud Native 持续交付
云原生架构:企业数字化转型的新引擎##
在当今数字化浪潮中,云原生架构正成为推动企业创新和竞争力的关键因素。本文探讨了云原生的核心概念、技术优势以及在现代业务场景中的应用实践,揭示了其如何助力企业实现高效运营、灵活扩展与持续集成。通过对云原生技术的深入剖析,我们将看到它不仅是一种技术趋势,更是企业数字化转型的战略选择。 ##
39 5