DevOps 数据体系的建设过程是怎样的？

1．寻找数据

在 DevOps 的数据体系构建过程中，寻找数据是一个令人头痛的问题，这和业务数据 体系有很大区别。业务数据的管理大多由前置目标驱动，而 DevOps 数据的管理大多由后 置目标驱动，这就造成在寻找数据阶段需要自上而下地进行数据的梳理和调研。DevOps 数据的管理特性和 DevOps 的组织特性、组织文化相关，在 DevOps 领域，价值输出全流程 的安全、稳定、高效和低成本是 DevOps 的能力输出特性，前两个特性和数据的耦合度较 低，而后两个特性和数据的耦合度较高。

2．建立模型

在 DevOps 领域，数据模型体现在数据识别方面。从传统的数据模型理论来看，DevOps 数据并没有明确的操作数据层、明细数据层、汇总数据层和应用数据层的划分，这是快速 交付过程中能力子域“无边界”造成的。在数据模型建设过程中，主要基于数据的特征来 考量。

（1）基于数据的业务属性特征，如偏业务预期、业务达成数据。

（2）基于数据的共享属性特征。此部分数据主要是用来在 IT 组织内部和 IT 组织外部 进行共享的数据，如组织数据、需求数据、业务共享数据、成本数据和配置中心数据。

（3）基于数据的独立性特征，如成本数据、资产数据和经营目标数据。

（4）基于数据的唯一属性特征，这是 DevOps 数据形成数据网状拓扑的关键特性，一 般以 IT 内部数据为准，如基础架构数据，通过 IP 地址进行南北向的资产数据拓扑扩展；代 码质量数据，通过系统版本或系统名称进行质量的趋势回溯；效能数据，通过工号进行阶段 性工程效率的度量；版本数据，通过需求吞吐率和研发吞吐率进行版本控制和风险规避。

（5）基于数据的长期有效的特性，数据模型的使用场景主要为数据基线、链路基线、 容量成本基线和质量基线。

3．数据的接入和接出

数据接入是将数据从数据源系统汇集到数据平台的过程。该过程需要对接入的数据进 行清洗、转换、映射、去重、合并和加载，通过一系列的数据加工和处理，形成标准统一 的主数据。常用的数据汇集方式如下。

（1）ETL 抽取，采用 ETL 工具从数据源系统将数据采集到运维数据中台。

（2）文件传输，采用文件传输方式将文件中的数据导入运维数据中台。

（3）消息推送，采用消息方式从数据源系统将数据采集到运维数据中台。

（4）接口推送，采用接口方式从数据源系统将主数据采集到运维数据中台。

（5）内容爬虫，一般用于对 Web 页面的数据爬取，适用于无数据留存场景中的数据汇集。

4．数据的变现

数据的变现是实现数据价值的一种方式。和数据的商业化不同，DevOps 数据的变现主 要取决于数据的热点运用，使用热度越高，越是“黄金”数据（也可以称为核心数据资产）。 在 DevOps 领域，数据的变现主要可以达到下面 3 个目的。

（1）促进组织整体协同和降本增效。提升组织级的效能和质量是 DevOps 的价值输出 的一个指标，因此，通过数据驱动的方式来实现端到端的流水线交付、端到端的资源交 付、端到端的安全输出、端到端的价值交付。基于多能力的交付场景，需要 DevOps 数据 标准统一，打通项目、需求、研发、测试、运维和业务运营的各个环节，提升 DevOps 价值交付过程中各能力子域的协作效率，减少因数据不一致而产生的数据传递交换时的 沟通成本。

（2）通过数据实现驱动，达到智能决策的目的。在数据驱动方面，通过数据反馈的方 式来解决价值交付链路中的问题，通过对过程性数据的持续收集和分析来发现交付过程中 存在的瓶颈，通过对软件产品和用户的线上数据来获取反馈，通过结果性数据来评价团队 的成果。

（3）提供数据运营服务能力，一方面可以通过数据的不断优化来提升数据的共享和交 换能力，另一方面，对数据进行标签化和整合，结合各种场景，输出给数据使用部门，从 而实现企业级的全局数据的打通。

资料来源于《DevOps权威指南：IT效能“新基建”》

下载地址：https://developer.aliyun.com/topic/download?id=8246