深入解读面向微服务的分布式秒级监控系统Infinsight-阿里云开发者社区

开发者社区> 阿里巴巴数据库技术> 正文

深入解读面向微服务的分布式秒级监控系统Infinsight

简介: 在云服务环境中,服务的质量一向是云服务厂商关注的重点,为了保证云服务质量的最大化,以及在出现故障时能够协助用户对故障进行快速的定位,监控服务在其中起着非常重要的作用。

640 (1).gif

原创: 伯邑

背景

在云服务环境中,服务的质量一向是云服务厂商关注的重点,为了保证云服务质量的最大化,以及在出现故障时能够协助用户对故障进行快速的定位,监控服务在其中起着非常重要的作用。

目前,许多云厂商提供的监控服务多在分钟级,这种级别的监控服务对于瞬息万变的服务变化,往往粒度过大了。尤其是针对某些瞬间的资源抖动,以及短暂的慢查询,分钟级的监控数据往往无法发现这些细微的问题,很多隐患也就此淹没掉。

因此,针对以上场景,拥有一套具备细粒度、实时监控能力的监控系统,就变得迫在眉睫。

简介

Infinsight是一个使用golang语言编写的面向微服务,提供秒级监控能力的分布式监控服务,借助MongoDB进行配置管理和数据持久化,以及借助Grafana进行可视化展示,为用户提供从采集、存储到展示的完整的监控平台。

Infinsight目前服务于MongoDB和Redis云数据库,为数以万计的用户服务提供全面且准实时的监控服务。

Infinshgit对MongoDB和Redis服务每秒近千项指标进行实时采集,并对数据进行压缩存储,数据压缩比基于线上统计:MongoDB(32:1)、Redis Proxy(80:1),这使得我们仅用了不到30TB的存储容量,确保了7*30天数万亿的全量秒级数据留存,以方便追查历史问题,以及进行各种数据分析。

并且,Infinsight的开源版本已经在github上发布,除削减了和内部系统的耦合功能以外,完整的保留了Infinsight的全部功能。

应用场景举例

Infinsight是面向微服务的监控系统,是一个无agent系统,所以需要服务自身具备服务状态查询能力。

目前Infinsight可以提供:mysql、redis、mongodb三款常用数据库的监控能力。并且,在数据库监控能力之外,还提供了http+json的通用监控能力。

用户只需要配置好所需的服务类型和需要监控的服务的IP:PORT,Infinsight便会自动抓取服务的全部state信息,并提供默认的展示模版,用户几乎不需要太多的配置即可快速搭建专业的监控服务平台。

正是基于Infinsight灵活高效的部署能力,用户除了可以基于Infinsight对服务进行常规化监控,还能够针对测试服务通过热插拔的形式,随时部署,随时注销,极大的提高了服务测试和预发布环境下对服务性能指标的控制能力。

这对于服务测试的临时监控需求、新服务上线的初期监控需求,在相关配套设施没有建设完善时,Infinsight可以极大的节省在服务稳定性管理上的人力成本。

此外,由于Infinsight是一个面向微服务的无agent系统,这也就决定了Infinsight具备对于服务的混合监控能力。

用户服务无论在云上、云下,还是跨云部署,只要具备良好的网络连通性,Infinshgit都可以对整体系统进行全面的监控,不会受到由于无权部署agent而缺乏监控能力的问题。并且,由于服务自身就是agent,所以也节省了部署agent的资源开销,对于服务自身来说,1qps几乎没有任何资源消耗。

功能介绍

功能介绍

Infinsight致力于为用户提供最简单最便捷的监控服务,并提供相关的配置模版以及配置脚本,通过默认配置,标准化模版,使用户无需进行复杂的配置,就可以轻松实现如下监控能力

image.png

通过配置管理,动态增删需要监控的服务类型,并通过标准模版直接加载Grafana可视化页面,无需复杂的配置过程。

通过配置管理,可通过第三方手段动态增删需要监控的IP:PORT。

无需提前注册监控项schema,系统自适应监控项的变化,随时抓去全部监控信息。

可保证30天秒级数据的存储,6小时内数据查询平均延时小于5ms

支持前端灵活计算,支持四则运算和差值运算,更加友好的进行数据展示,可表达更丰富的逻辑含义。

支持多指标的正则表匹配,可将符合某一特征的多个指标,聚合在一张图表内,方便进行数据对比。

可单机部署,也可以分布式部署。在分布式部署环境下,可做到灵活的线性扩展。

未来规划

Infinsight后续会继续纳入更多的常用服务监控,例如kafka、flink等,为大多数用户解决常见服务的监控问题。在此基础上,不断借助开源的力量,吸纳更多领域从业人员和技术专家们提供针对监控服务可视化模版,给更多的用户提供更专业更美观的服务体验。

技术细节

详细技术细节,请参考github wiki:

https://github.com/aliyun/infinsight/wiki/Infinsight%E6%8A%80%E6%9C%AF%E6%96%87%E6%A1%A3

开源

目前Infinsight已经在github上开源,详细请戳:https://github.com/aliyun/infinsight

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴数据库技术
使用钉钉扫一扫加入圈子
+ 订阅

官方博客
官网链接