背景
CMDB是企业IT服务管理的基础,完备的CMDB能力为运维自动化以及企业内部IT治理提供有力的支撑。伴随着企业上云,企业构建CMDB面临新的挑战:一方面如何和企业自有IDC数据进行融合,其次面对云厂商各云产品独立的特性和资源定义如何快速对模型进行抽象并集成。
配置审计是面向资源的审计服务,为企业实现基础设施的持续合规提供了一系列产品能力。本文主要讲述企业如何通过配置审计快速将阿里云资源集成到企业自有CMDB。
方案概述
配置审计目前支持63个云产品,146个资源类型,覆盖了大部分被客户经常使用的云产品,同时基于资源元数据中心近实时的资源构建链路具备了资源快速发现的能力,保障资源接入的全面和实时性。对资源进行了统一的模型定义,客户可以使用统一的API或数据接入方式做到跨云产品、跨地域的快速接入,极大提升构建CMDB的效率。
资源数据集成
模型定义
模型主要分为两部分:一部分是公共属性,包括资源类型、资源所属地域、资源ID和名称、资源标签、资源构建版本号等。其中资源ID在资源类型所属地域内保证唯一,全局唯一性需通过账号ID+资源类型+资源所属地域+资源ID来标识。资源构建版本号会伴随资源变更次数进行递增。模型另一部分是云产品的完整属性信息,通常为该资源类型所对应的云产品详情接口返回的信息,为json格式,客户可根据需求自行解析相关字段。
数据接入
全量接入:可直接调用配置审计提供的资源API进行接入。通过ListDiscoveredResources进行遍历获取资源概要信息,如果需要资源的完整信息可通过GetDiscoveredResource获取详情。注意如果是多账号场景请使用账号组相关API:ListAggregateDiscoveredResources和GetAggregateDiscoveredResource。
增量接入:增量部分需要用户设置投递,选择投递数据类型为资源变更事件,投递至SLS或者MNS,然后进行程序消费和处理即可。增量接入过程中可以使用资源模型中的Version字段进行并发控制,避免资源变更频繁时消费顺序错乱问题。
资源关系
配置审计同时提供了资源关系的相关能力,支持常见的资源类型关系构建。数据接入同资源数据接入方式基本一致,调用资源关系相关API即可。增量部分在资源增量事件中会包含关系的变化,因此只需要消费一份数据。更多资源关系的支持情况和数据格式可参考配置审计产品文档。
资源历史及搜索
变更历史
配置审计记录留存了资源每次的变化情况,支持按时间范围进行查阅,便于用户进行问题排查及场景回溯。同时配置审计保留了已释放的资源数据,通过资源API可以查看开通配置审计以来所有创建过的资源数据。
资源搜索
资源应用方面配置审计除了提供完整的资源查询能力之外,也提供了高级搜索功能,支持对云产品完整属性中重要的属性进行搜索,满足企业日常运维过程中对资源的多方位筛选和统计需求。高级搜索提供可视化的产品能力,同时也支持像使用普通数据库一样使用SQL语句查询。下面举两个例子。
示例1:搜索上海地域具有标签business:online的所有云服务器ECS实例
SELECT ResourceId, ResourceName WHERE ResourceType='ACS::ECS::Instance'AND RegionId='cn-shanghai'AND Tags.Kvpair='business:online'
示例2:搜索IPv4地址为198.168.XX.XX的云服务器ECS的弹性网卡
SELECT*WHERE ResourceType ='ACS::ECS::NetworkInterface'AND PrivateIpAddress ='198.168.XX.XX'
高级搜索实时查询支持最多1000条数据,如果需要获取完整查询列表,可以创建搜索下载清单,清单生成成功后下载即可。
大数据方案
适用场景
当企业保有的资源数量非常大时,通过API进行遍历会需要比较长的时间。同时资源数据量很大时,增量处理部分也会因为处理失败或消息丢失等情况导致企业自建CMDB数据质量出现不一致的情况,通常需要和数据源进行对账来发现未更新成功的资源数据,并进行订正。上述这些场景就需要借助大数据计算服务的能力。
方案介绍
大数据场景增量部分可以延用原有的方案,全量获取以及对账可以通过设置到日志服务的资源快照投递,配置审计会定时将客户的全量资源数据推送至指定的日志库,然后客户可以将日志库中的资源数据同步至大数据计算服务,再通过大数据计算服务同步至企业内部的数据库。如果是对账场景,客户可以将本地已有的资源数据同样同步至大数据计算服务,借助大数据计算服务的计算能力快速完成不一致数据的发现,并将结果回流处理即可。整个过程无论是快照推送还是大数据计算服务的数据同步都具备很好的处理能力,相比单纯依赖API获取会有很大的提升。
更多内容
如需了解更多配置审计相关使用细节,可查看产品文档:https://help.aliyun.com/document_detail/127388.html
想要了解更多产品细节,也可扫码加入「配置审计客户群」咨询更多~