开发者社区> 问答> 正文

DevOps 数据体系的建设过程是怎样的?

DevOps 数据体系的建设过程是怎样的?

展开
收起
游客wj7q2yeduvyvg 2022-01-13 12:01:05 1011 0
1 条回答
写回答
取消 提交回答
  • 1.寻找数据

    在 DevOps 的数据体系构建过程中,寻找数据是一个令人头痛的问题,这和业务数据 体系有很大区别。业务数据的管理大多由前置目标驱动,而 DevOps 数据的管理大多由后 置目标驱动,这就造成在寻找数据阶段需要自上而下地进行数据的梳理和调研。DevOps 数据的管理特性和 DevOps 的组织特性、组织文化相关,在 DevOps 领域,价值输出全流程 的安全、稳定、高效和低成本是 DevOps 的能力输出特性,前两个特性和数据的耦合度较 低,而后两个特性和数据的耦合度较高。

    2.建立模型

    在 DevOps 领域,数据模型体现在数据识别方面。从传统的数据模型理论来看,DevOps 数据并没有明确的操作数据层、明细数据层、汇总数据层和应用数据层的划分,这是快速 交付过程中能力子域“无边界”造成的。在数据模型建设过程中,主要基于数据的特征来 考量。

    (1)基于数据的业务属性特征,如偏业务预期、业务达成数据。

    (2)基于数据的共享属性特征。此部分数据主要是用来在 IT 组织内部和 IT 组织外部 进行共享的数据,如组织数据、需求数据、业务共享数据、成本数据和配置中心数据。

    (3)基于数据的独立性特征,如成本数据、资产数据和经营目标数据。

    (4)基于数据的唯一属性特征,这是 DevOps 数据形成数据网状拓扑的关键特性,一 般以 IT 内部数据为准,如基础架构数据,通过 IP 地址进行南北向的资产数据拓扑扩展;代 码质量数据,通过系统版本或系统名称进行质量的趋势回溯;效能数据,通过工号进行阶段 性工程效率的度量;版本数据,通过需求吞吐率和研发吞吐率进行版本控制和风险规避。

    (5)基于数据的长期有效的特性,数据模型的使用场景主要为数据基线、链路基线、 容量成本基线和质量基线。

    3.数据的接入和接出

    数据接入是将数据从数据源系统汇集到数据平台的过程。该过程需要对接入的数据进 行清洗、转换、映射、去重、合并和加载,通过一系列的数据加工和处理,形成标准统一 的主数据。常用的数据汇集方式如下。

    (1)ETL 抽取,采用 ETL 工具从数据源系统将数据采集到运维数据中台。

    (2)文件传输,采用文件传输方式将文件中的数据导入运维数据中台。

    (3)消息推送,采用消息方式从数据源系统将数据采集到运维数据中台。

    (4)接口推送,采用接口方式从数据源系统将主数据采集到运维数据中台。

    (5)内容爬虫,一般用于对 Web 页面的数据爬取,适用于无数据留存场景中的数据汇集。

    4.数据的变现

    数据的变现是实现数据价值的一种方式。和数据的商业化不同,DevOps 数据的变现主 要取决于数据的热点运用,使用热度越高,越是“黄金”数据(也可以称为核心数据资产)。 在 DevOps 领域,数据的变现主要可以达到下面 3 个目的。

    (1)促进组织整体协同和降本增效。提升组织级的效能和质量是 DevOps 的价值输出 的一个指标,因此,通过数据驱动的方式来实现端到端的流水线交付、端到端的资源交 付、端到端的安全输出、端到端的价值交付。基于多能力的交付场景,需要 DevOps 数据 标准统一,打通项目、需求、研发、测试、运维和业务运营的各个环节,提升 DevOps 价值交付过程中各能力子域的协作效率,减少因数据不一致而产生的数据传递交换时的 沟通成本。

    (2)通过数据实现驱动,达到智能决策的目的。在数据驱动方面,通过数据反馈的方 式来解决价值交付链路中的问题,通过对过程性数据的持续收集和分析来发现交付过程中 存在的瓶颈,通过对软件产品和用户的线上数据来获取反馈,通过结果性数据来评价团队 的成果。

    (3)提供数据运营服务能力,一方面可以通过数据的不断优化来提升数据的共享和交 换能力,另一方面,对数据进行标签化和整合,结合各种场景,输出给数据使用部门,从 而实现企业级的全局数据的打通。

    资料来源于《DevOps权威指南:IT效能“新基建”》

    下载地址:https://developer.aliyun.com/topic/download?id=8246

    2022-01-13 16:20:42
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
从黑盒运维到DEVOPS 立即下载
云上DevOps开发布局 立即下载
DevOps与传统的融合落地实践及案例分享 立即下载