多阶段元数据一致性分析——助力北京银行实现IT运营效率提升

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介:

还记得我们在《从三个场景看如何玩转元数据应用》文章中提到的第一个应用场景,元数据对比分析——让系统上线/变更高效、可控吗?还记得苦逼的程序员们在系统上线当天彻夜加班排查上线脚本问题的场景吗?我们给出的办法使用元数据对比分析场景来解决这类问题,那么北京银行科技部门是如何借助元数据管理工具实现IT运营效率的提升,本文会对这个元数据项目重点建设内容进行介绍。

多阶段元数据划分

首先来了解下多阶段元数据是如何划分的、存储介质有哪些,其实在元数据完整的生命周期中,有三个关键的形态,设计态、测试态和生产态。通过对元数据三个形态的管理,就能够实现对元数据全生命周期管理领域的重点覆盖,从而达到对元数据管理提纲挈领的效果。

三个不同形态是根据软件开发的不同阶段来划分的。软件开发一般分为需求、设计、开发、测试、部署上线和运维等六个阶段,在软件开发的三个关键阶段会产生不同形态的元数据。

1、软件设计阶段,通常会对系统的逻辑模型、物理模型进行设计,就会产生设计态的元数据。它的存储介质一般是ERWin、PowerDesigner之类的模型设计工具,再简单一点可能是Excel、Word文档。

2、软件集成测试阶段,会对系统功能进行测试,需要在测试环境部署一套系统,那么从测试环境获取到的元数据就是测试态的元数据。通常存储介质一般有关系型数据库,例如Oracle、DB2、Mysql、Teradata等等,复杂点的非关系型数据库,例如:MongDB、HBase、Hive、Hadoop等。

3、部署上线阶段,当软件部署到生产环境,投入生产运营。从生产环境获取到的元数据可以称为生产态元数据。生产态元数据存储介质和测试环境一般差异不大,只是换了一个环境而已。

接下来我将结合北京银行元数据管理项目案例进行具体说明多阶段元数据的管理。

北京银行急需提升IT运营效率

北京银行整体IT系统建设已经达到一定的规模,已应用的IT系统有100个左右。随着业务的不断发展,这些系统的日常变更也较为频繁,每周都会存在相应的变更上线操作。从管理模式上看,变更的管理是以系统为基础,以项目为中心进行管理,如何保证系统日常变更的设计与实施上线的变更的一致性,使频繁、复杂的系统上线变的简单、可控、可跟踪,从而使系统更好的服务于业务部门,是北京银行科技部门重点建设的能力。

多阶段元数据一致性分析保证系统安全上线

基于北京银行元数据管理需求,我们按照以管理流程为依据,以元数据管理系统为技术支撑,以事前预防+事后监督为重点功能的建设思路。通过流程的落地执行,实行对多阶段元数据统一管理,保障设计与实际上线变更一致性,来推进变更管理、IT流程管理规范化。

多阶段元数据一致性分析——助力北京银行实现IT运营效率提升

上图是北京银行多阶段元数据管理架构,通过这张图我们可以看清多阶段元数据管理思路以及实现多阶段元数据比对应用场景要解决的关键三个问题。

1、不同形态元数据的获取

借助普元元数据管理产品Primeton MetaCube强大的采集适配器能力,可以将不同形态的元数据采集到元数据存储库来进行管理。由于采集适配器不是本文的重点内容,这里不展开说明。

2、元数据变更管理流程

业务系统发生需求变更或功能模块升级导致表结构变更时,需要在元数据管理系统中发起申请流程,提交设计态元数据进行备案。功能开发完成后,部署到测试环境,由待发布环境元数据系统获取测试态元数据,将元数据变更在生产环境部署前与设计态元数据对比,比对一致上线部署,不一致驳回上线申请流程。元数据变更在投产上线完成后,生产环境元数据系统会采集生产态元数据,并再次与设计态元数据进行对比,实现对元数据变更的事后核查。通过三个不同形态元数据的比对分析,达到事前风险预警+事后变更核实的管理效果。元数据变更管理流程如下图:

多阶段元数据一致性分析——助力北京银行实现IT运营效率提升

  3、多阶段元数据一致性比对分析

元数据一致性比对是实现多阶段元数据管理的核心功能,也是支持元数据变更流程核心功能。下图是元数据比对功能的三维立方体。对于不同形态、不同类型的元数据都可以实现比对,比对内容包括对象本身、对象属性、对象的关系等等。

多阶段元数据一致性分析——助力北京银行实现IT运营效率提升

  多阶段元数据一致性分析实施方法

通过独立部署三套元数据系统环境,包括测试环境、待发布/准生产环境和生产环境,分别对应设计态、测试态和生产态的元数据管理。

测试环境

测试环境为非受控环境,用于各项目组的一些开发测试工作,项目组可根据需要操作元数据管理系统,测试环境的元数据不作为下游元数据的来源。

待发布环境

待发布环境为受控环境,操作人员必须满足相应的流程规定方可进行相应的操作。该环境仅对个项目负责人开放,用于提交各自上线方案中涉及的数据结构变更等应用。

生产环境

生产环境元数据完全是生产系统实际情况的反映,其数据的更新依赖于元数据采集过程,可采用自动采集或手动采集过程,但原则上不允许手工调整,最大程度保证其对实际环境的真实反映。

待发布环境与生产环境是元数据管理的重点,三个环境的元数据在元数据系统上线之初通过自动采集功能,统一进行元数据采集,此时三者存储的元数据都与生产环境完全一致。

在各项目的负责人发起元数据变更申请流程后,管理员需要使用元数据多阶段比对功能,此功能主要包括比对规则的设置、比对任务执行和比对结果展现三个功能模块。通过比对规则管理,设置比对检验规则,例如设置那些元数据对象、那几个属性参与比对,是否忽略大小写等。设置完规则后,选择要比对的两个元数据对象生成比对任务,比对任务运行成功后,便可以查看比对报告。如下图所示:

多阶段元数据一致性分析——助力北京银行实现IT运营效率提升

  北京银行元数据管理平台建设效果

在没有建设元数据管理体系之前,北京银行一项系统变更要经过几轮评审后,才能够进行上线部署,且一旦上线变更与评审内容略有误差,导致ODS、分析应用等下游系统的被动调整,影响了整体IT运营效率,使得本来三天可以搞定的系统变更持续了一周。

元数据系统投入运行后,通过对三个关键阶段元数据的管理,使得IT部门能够及时的获知业务系统的变更方案,协同受影响的下游系统同时变更。使得变更上线简单、可控,提升了IT运行整体效率。


本文转自d1net(转载)

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
2月前
|
运维 监控 供应链
如何提升日用品行业生产效率?
日用品生产中的协作效率低、任务分配不清、进度追踪困难、突发事件应对迟缓等问题普遍存在。数字化管理工具如Leangoo能提升协同与生产力。
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
银行营销定制方案:大模型赋能,提升存量客户业务效益近30倍
随着科技的进步和数字化趋势的加速,作为典型知识密集型行业的银行业正面临着前所未有的挑战和机遇。在这个过程中,大模型因为相较传统机器学习有着更强的长文本处理能力,通过海量训练可以形成知识洞察和智能涌现能力,这种独有的能力正在发挥着越来越重要的作用。特别是在存量客户营销方面,大模型正在改变传统营销模式,提供更加精准、个性化的服务,帮助银行更好地满足客户需求,提升客户满意度和忠诚度。
|
数据采集 存储 供应链
谈谈数据治理在实践中的作用(零售、物流、金融)
在本文中,我们讨论数据治理和组织之间的关系,随后,使用真实案例来检查数据治理和业务绩效之间的关系。这两者一起提供了对数据治理效果的深入了解。
谈谈数据治理在实践中的作用(零售、物流、金融)
|
数据管理
《金融行业高频交易数据管理解决方案》电子版地址
金融行业高频交易数据管理解决方案
104 0
《金融行业高频交易数据管理解决方案》电子版地址
|
新零售 供应链 搜索推荐
“双十二”:“交互+交易+交付”融合运营为王
“双十二”:“交互+交易+交付”融合运营为王
430 0
“双十二”:“交互+交易+交付”融合运营为王
|
存储 运维 Cloud Native
|
弹性计算 运维 安全
企业IT治理沙龙·北京站 || 业务优先?治理优先?您的企业是哪种上云姿势?
为了体系化解决企业在云上管理和治理的问题,今年,阿里云开放平台推出企业IT治理样板间,为企业客户提供在阿里云上搭建跨账号的复杂企业 IT 治理体系的基本骨架,可以满足企业快速、全面的进行云治理初始化的需求,使企业在云上创建任何负载之前,就能预先搭建好一个符合企业合规管控标准的安全、可信环境。
企业IT治理沙龙·北京站 || 业务优先?治理优先?您的企业是哪种上云姿势?
|
运维 关系型数据库 数据库
阿里云助力大型药企朗致集团迁移上云 数据库运维成本下降50%
日前,阿里云携手用友帮助国内大型医药控股型集团公司朗致集团将核心ERP系统和核心数据库迁移上云,数据库直接成本下降20%,运维成本下降50%,同时提升了内外部协同效率,促进业务进一步的发展。
1071 0
阿里云助力大型药企朗致集团迁移上云 数据库运维成本下降50%
|
云安全 弹性计算 运维
【云栖号案例 | 互联网】校慧通业务系统上云 保证海外业务稳定运行
新业务部署到线下,经常出现访问稳定、延时高、数据传输不及时,成本高且维护不及时。上云后解放开发人员的双手、解决资金压力、保护ECS不受黑客侵扰。
【云栖号案例 | 互联网】校慧通业务系统上云 保证海外业务稳定运行
|
弹性计算 负载均衡 数据可视化
【云栖号案例 | 商业服务】立根融资租赁内部系统上云 凸显容灾能力、提升性能
立根融资租赁对云上架构的安全性与可用性要求高,业务流量不好控制,带宽费用贵。上云后解决整体流量出入和单点故障问题,不需要自建反向代理。
【云栖号案例 | 商业服务】立根融资租赁内部系统上云 凸显容灾能力、提升性能

热门文章

最新文章