快速集成阿里云资源到企业CMDB-配置审计

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 配置审计提供跨云产品、跨地域、跨账号的资源集成能力,可以帮助企业快速将阿里云资源集成到企业自建的CMDB中。

背景

CMDB是企业IT服务管理的基础,完备的CMDB能力为运维自动化以及企业内部IT治理提供有力的支撑。伴随着企业上云,企业构建CMDB面临新的挑战:一方面如何和企业自有IDC数据进行融合,其次面对云厂商各云产品独立的特性和资源定义如何快速对模型进行抽象并集成。


配置审计是面向资源的审计服务,为企业实现基础设施的持续合规提供了一系列产品能力。本文主要讲述企业如何通过配置审计快速将阿里云资源集成到企业自有CMDB。


方案概述

配置审计目前支持63个云产品,146个资源类型,覆盖了大部分被客户经常使用的云产品,同时基于资源元数据中心近实时的资源构建链路具备了资源快速发现的能力,保障资源接入的全面和实时性。对资源进行了统一的模型定义,客户可以使用统一的API或数据接入方式做到跨云产品、跨地域的快速接入,极大提升构建CMDB的效率。


资源数据集成

模型定义

模型主要分为两部分:一部分是公共属性,包括资源类型、资源所属地域、资源ID和名称、资源标签、资源构建版本号等。其中资源ID在资源类型所属地域内保证唯一,全局唯一性需通过账号ID+资源类型+资源所属地域+资源ID来标识。资源构建版本号会伴随资源变更次数进行递增。模型另一部分是云产品的完整属性信息,通常为该资源类型所对应的云产品详情接口返回的信息,为json格式,客户可根据需求自行解析相关字段。


数据接入

全量接入:可直接调用配置审计提供的资源API进行接入。通过ListDiscoveredResources进行遍历获取资源概要信息,如果需要资源的完整信息可通过GetDiscoveredResource获取详情。注意如果是多账号场景请使用账号组相关API:ListAggregateDiscoveredResources和GetAggregateDiscoveredResource。

增量接入:增量部分需要用户设置投递,选择投递数据类型为资源变更事件,投递至SLS或者MNS,然后进行程序消费和处理即可。增量接入过程中可以使用资源模型中的Version字段进行并发控制,避免资源变更频繁时消费顺序错乱问题。


资源关系

配置审计同时提供了资源关系的相关能力,支持常见的资源类型关系构建。数据接入同资源数据接入方式基本一致,调用资源关系相关API即可。增量部分在资源增量事件中会包含关系的变化,因此只需要消费一份数据。更多资源关系的支持情况和数据格式可参考配置审计产品文档。


资源历史及搜索

变更历史

配置审计记录留存了资源每次的变化情况,支持按时间范围进行查阅,便于用户进行问题排查及场景回溯。同时配置审计保留了已释放的资源数据,通过资源API可以查看开通配置审计以来所有创建过的资源数据。


资源搜索

资源应用方面配置审计除了提供完整的资源查询能力之外,也提供了高级搜索功能,支持对云产品完整属性中重要的属性进行搜索,满足企业日常运维过程中对资源的多方位筛选和统计需求。高级搜索提供可视化的产品能力,同时也支持像使用普通数据库一样使用SQL语句查询。下面举两个例子。

示例1:搜索上海地域具有标签business:online的所有云服务器ECS实例

SELECT ResourceId, ResourceName  WHERE ResourceType='ACS::ECS::Instance'AND RegionId='cn-shanghai'AND Tags.Kvpair='business:online'

示例2:搜索IPv4地址为198.168.XX.XX的云服务器ECS的弹性网卡

SELECT*WHERE ResourceType ='ACS::ECS::NetworkInterface'AND PrivateIpAddress ='198.168.XX.XX'

高级搜索实时查询支持最多1000条数据,如果需要获取完整查询列表,可以创建搜索下载清单,清单生成成功后下载即可。


大数据方案

适用场景

当企业保有的资源数量非常大时,通过API进行遍历会需要比较长的时间。同时资源数据量很大时,增量处理部分也会因为处理失败或消息丢失等情况导致企业自建CMDB数据质量出现不一致的情况,通常需要和数据源进行对账来发现未更新成功的资源数据,并进行订正。上述这些场景就需要借助大数据计算服务的能力。


方案介绍

大数据场景增量部分可以延用原有的方案,全量获取以及对账可以通过设置到日志服务的资源快照投递,配置审计会定时将客户的全量资源数据推送至指定的日志库,然后客户可以将日志库中的资源数据同步至大数据计算服务,再通过大数据计算服务同步至企业内部的数据库。如果是对账场景,客户可以将本地已有的资源数据同样同步至大数据计算服务,借助大数据计算服务的计算能力快速完成不一致数据的发现,并将结果回流处理即可。整个过程无论是快照推送还是大数据计算服务的数据同步都具备很好的处理能力,相比单纯依赖API获取会有很大的提升。


更多内容

如需了解更多配置审计相关使用细节,可查看产品文档:https://help.aliyun.com/document_detail/127388.html


想要了解更多产品细节,也可扫码加入「配置审计客户群」咨询更多~

                                                   群二维码.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
弹性计算 运维 Serverless
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
65 1
项目管理和持续集成系统搭建问题之云效流水线支持阿里云产品的企业用户如何解决
|
18天前
|
IDE API 开发工具
沉浸式集成阿里云 OpenAPI|Alibaba Cloud API Toolkit for VS Code
Alibaba Cloud API Toolkit for VSCode 是集成了 OpenAPI 开发者门户多项功能的 VSCode 插件,开发者可以通过这个插件方便地查找API文档、进行API调试、插入SDK代码,并配置基础环境设置。我们的目标是缩短开发者在门户和IDE之间的频繁切换,实现API信息和开发流程的无缝结合,让开发者的工作变得更加高效和紧密。
沉浸式集成阿里云 OpenAPI|Alibaba Cloud API Toolkit for VS Code
|
24天前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
2月前
|
机器学习/深度学习 DataWorks 数据挖掘
基于阿里云Hologres和DataWorks数据集成的方案
基于阿里云Hologres和DataWorks数据集成的方案
57 7
|
2月前
|
并行计算 关系型数据库 分布式数据库
朗坤智慧科技「LiEMS企业管理信息系统」通过PolarDB产品生态集成认证!
近日,朗坤智慧科技股份有限公司「LiEMS企业管理信息系统软件」通过PolarDB产品生态集成认证!
|
2月前
|
存储 SQL 分布式计算
Hologres 与阿里云生态的集成:构建高效的数据处理解决方案
【9月更文第1天】随着大数据时代的到来,数据处理和分析的需求日益增长。阿里云作为国内领先的云计算平台之一,提供了多种数据存储和处理的服务,其中Hologres作为一款实时数仓产品,以其高性能、高可用性以及对标准SQL的支持而受到广泛关注。本文将探讨Hologres如何与阿里云上的其他服务如MaxCompute、DataHub等进行集成,以构建一个完整的数据处理解决方案。
70 2
|
3月前
|
移动开发 小程序 测试技术
项目管理和持续集成系统搭建问题之帮助以诺行管理任务和资源如何解决
项目管理和持续集成系统搭建问题之帮助以诺行管理任务和资源如何解决
33 2
|
4月前
|
开发框架 前端开发 JavaScript
ABP框架中短信发送处理,包括阿里云短信和普通短信商的短信发送集成
ABP框架中短信发送处理,包括阿里云短信和普通短信商的短信发送集成
ABP框架中短信发送处理,包括阿里云短信和普通短信商的短信发送集成
|
3月前
|
SQL DataWorks 安全
DataWorks产品使用合集之调度资源组与集成资源内部的实例如何进行共用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
145 1