1.寻找数据
在 DevOps 的数据体系构建过程中,寻找数据是一个令人头痛的问题,这和业务数据 体系有很大区别。业务数据的管理大多由前置目标驱动,而 DevOps 数据的管理大多由后 置目标驱动,这就造成在寻找数据阶段需要自上而下地进行数据的梳理和调研。DevOps 数据的管理特性和 DevOps 的组织特性、组织文化相关,在 DevOps 领域,价值输出全流程 的安全、稳定、高效和低成本是 DevOps 的能力输出特性,前两个特性和数据的耦合度较 低,而后两个特性和数据的耦合度较高。
2.建立模型
在 DevOps 领域,数据模型体现在数据识别方面。从传统的数据模型理论来看,DevOps 数据并没有明确的操作数据层、明细数据层、汇总数据层和应用数据层的划分,这是快速 交付过程中能力子域“无边界”造成的。在数据模型建设过程中,主要基于数据的特征来 考量。
(1)基于数据的业务属性特征,如偏业务预期、业务达成数据。
(2)基于数据的共享属性特征。此部分数据主要是用来在 IT 组织内部和 IT 组织外部 进行共享的数据,如组织数据、需求数据、业务共享数据、成本数据和配置中心数据。
(3)基于数据的独立性特征,如成本数据、资产数据和经营目标数据。
(4)基于数据的唯一属性特征,这是 DevOps 数据形成数据网状拓扑的关键特性,一 般以 IT 内部数据为准,如基础架构数据,通过 IP 地址进行南北向的资产数据拓扑扩展;代 码质量数据,通过系统版本或系统名称进行质量的趋势回溯;效能数据,通过工号进行阶段 性工程效率的度量;版本数据,通过需求吞吐率和研发吞吐率进行版本控制和风险规避。
(5)基于数据的长期有效的特性,数据模型的使用场景主要为数据基线、链路基线、 容量成本基线和质量基线。
3.数据的接入和接出
数据接入是将数据从数据源系统汇集到数据平台的过程。该过程需要对接入的数据进 行清洗、转换、映射、去重、合并和加载,通过一系列的数据加工和处理,形成标准统一 的主数据。常用的数据汇集方式如下。
(1)ETL 抽取,采用 ETL 工具从数据源系统将数据采集到运维数据中台。
(2)文件传输,采用文件传输方式将文件中的数据导入运维数据中台。
(3)消息推送,采用消息方式从数据源系统将数据采集到运维数据中台。
(4)接口推送,采用接口方式从数据源系统将主数据采集到运维数据中台。
(5)内容爬虫,一般用于对 Web 页面的数据爬取,适用于无数据留存场景中的数据汇集。
4.数据的变现
数据的变现是实现数据价值的一种方式。和数据的商业化不同,DevOps 数据的变现主 要取决于数据的热点运用,使用热度越高,越是“黄金”数据(也可以称为核心数据资产)。 在 DevOps 领域,数据的变现主要可以达到下面 3 个目的。
(1)促进组织整体协同和降本增效。提升组织级的效能和质量是 DevOps 的价值输出 的一个指标,因此,通过数据驱动的方式来实现端到端的流水线交付、端到端的资源交 付、端到端的安全输出、端到端的价值交付。基于多能力的交付场景,需要 DevOps 数据 标准统一,打通项目、需求、研发、测试、运维和业务运营的各个环节,提升 DevOps 价值交付过程中各能力子域的协作效率,减少因数据不一致而产生的数据传递交换时的 沟通成本。
(2)通过数据实现驱动,达到智能决策的目的。在数据驱动方面,通过数据反馈的方 式来解决价值交付链路中的问题,通过对过程性数据的持续收集和分析来发现交付过程中 存在的瓶颈,通过对软件产品和用户的线上数据来获取反馈,通过结果性数据来评价团队 的成果。
(3)提供数据运营服务能力,一方面可以通过数据的不断优化来提升数据的共享和交 换能力,另一方面,对数据进行标签化和整合,结合各种场景,输出给数据使用部门,从 而实现企业级的全局数据的打通。
资料来源于《DevOps权威指南:IT效能“新基建”》
下载地址:https://developer.aliyun.com/topic/download?id=8246
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。