使用云监控来监控线下IDC(及其它云)的Mongodb,Redis,Mysql等中间件

简介: 背景当前很多用户的服务部署在混合环境中,比如同时使用多个云厂商,或者云加线下IDC等。而对于线下IDC的监控主要是使用开源的系统来自建。带来的问题就是需要花费较大精力来维护自建监控系统并且和云上的监控数据也无法打通。针对这种混合云环境,云监控推出了企业版监控服务,可以实现在阿里云上对下线IDC或其它云服务上部署的中间件进行监控。线下IDC中间件监控实现在云监控上对下线IDC的中间件进行监控,主要实

背景

当前很多用户的服务部署在混合环境中,比如同时使用多个云厂商,或者云加线下IDC等。

而对于线下IDC的监控主要是使用开源的系统来自建。

带来的问题就是需要花费较大精力来维护自建监控系统并且和云上的监控数据也无法打通。

针对这种混合云环境,云监控推出了企业版监控服务,可以实现在阿里云上对下线IDC或其它云服务上部署的中间件进行监控

线下IDC中间件监控实现

在云监控上对下线IDC的中间件进行监控,主要实现原理是在IDC的机器上使用Prometheus的Exporter来采集指标,然后通过云监控的Agent将这些指标上报到云监控的指标仓库。

之后这些数据以符合Prometheus规范的方式输出到云监控自建的Grafana,Prometheus报警等。甚至可以将这些数据对接到线下Grafana。

流程如图所示(以mongodb为例,其它的中间件完全类似):

具体操作上,共分为以下三个步骤,详细过程如下:

1,安装Exporter,收集指标

 Prometheus官网上已经提供了很多现成的Exporter,只需要根据监控的中间件下载对应的Exporter进行安装和启动就行。

https://prometheus.io/docs/instrumenting/exporters/

2,安装云监控的Agent

云监控Agent安装比较简单,根据云监控控制台上的文档行进行安装就行,

但有几点点需要注意:

(1)不需要在每个机器上都安装Agent,只需要在一台机器上安装就行,但是如果只在一个机器上安装Agent,通过这一台机器的Agent来收集Exporter暴露出来的指标,那么就需要步骤一中的各个Exporter的地址是不同的(启动的时候可以侦听不同的端口);

(2)安装Agent的机器需要能访问公网,因为下载Agent安装包和通过Agent上报指标数据都需要通过公网;

(3)安装的Agent版本号需要 大于等于 3.5.5,最好是安装最新版。

Agent安装文档在云监控控制台的主机监控页面可以找到,

https://cloudmonitornext.console.aliyun.com/hostMonitoring/all

如图:

安装完成后,通过 ps -aux | grep argusagent 看到如图所示,意味着Agent安装成功

通过/usr/local/cloudmonitor/bin/argusagent -v 可以查看Agent的版本号。

3,在云监控的控制台上进行配置

在云监控控制台上的配置主要是指标仓库的数据接入,页面地址

https://cloudmonitornext.console.aliyun.com/hybrid-monitor/dashboard/hybridTaskList

具体步骤见图:

(1)创建指标仓库(如果已经创建则省去这步)

(2)管理指标仓库的数据接入

点击上图中的每个指标仓库下面的“管理数据接入”,然后再点击“其它指标”,点击“接入其他指标”按钮就会打开配置页面。

配置页面,如图所示:

填写这个几个必填项后,点击“确定,下一步”

勾选两个需要确认的选项,然后点击“确定,下一步”

填写Exporter的地址后,再根据需要设置其他几个项,然后点击“确定,下一步”就完成了配置。

至此,数据采集和配置已经全部完成,就可以查看上报的数据了。

4,查看数据

完成步骤3后,点击指标仓库页面的“查看数据”,就可以查看和验证数据了,如图

选择指标,就会看到数据

如果数据正常上报,那么剩下的就是如何使用这些数据了。

监控数据使用

配置完成后,正常情况下数据就已经上报到了云监控的指标仓库,然后指标仓库会将这些数据按照Prometheus协议的格式输出,

主要用于:

1,在云监控页面上配置Grafana大盘;

2,在云监控页面上配置Prometheus报警;

3,也可以通过公网/VPC对接到线下Grafana。

具体如下,

1,配置Grafana大盘

云监控自建Grafana大盘有两个入口,分别是上面数据查看那个页面的”管理Grafana大盘“和企业云监控目录下的监控大盘页面。

前者见上图,后者如下图

点击“查看大盘”,就会跳转到云监控自建的Grafana。 然后就可以根据需求配置图表了。

https://cloudmonitor-dashboard.console.aliyun.com/

见图,

2,配置Prometheus报警

配置报警入口也有两个,分别是数据查看页面的“另存为报警”和指标仓库页面的“创建报警”,

我们以数据查看页面的“另存为报警”为例,见图

点击“另存为报警”,打开报警设置页面

其中标签和注释(Annotations)用于报警通知中附带内容,例如上面截图配置的规则,

手机短信收到通知如下:

 

钉钉通知如下:

   

报警规则的其它设置项,如报警联系人,通道沉默等根据需要和提示正常设置就行。

规则创建成功后,可以在报警服务的报警规则页面看到,

如图

3,对接线下Grafana

为了满足更多场景,云监控指标仓库的数据可以通过公网或VPC对接到到线下Grafana,

见图

点击“对接线下”,就会打开操作文档,根据文档操作即可,

见图

至此,使用云监控监控线下IDC或其他云环境的中间件操作就完成了,使用过程中如果遇到任何问题,请钉钉联系 云监控support群(群号:21705108)

目录
相关文章
|
9月前
|
缓存 NoSQL 关系型数据库
MySQL 与 Redis 如何保证双写一致性?
我是小假 期待与你的下一次相遇 ~
925 7
|
12月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案,适用于快速部署微服务基础环境。
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
9月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
922 6
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
|
缓存 NoSQL 关系型数据库
Redis与MySQL的数据一致性
在高并发环境下,保持 Redis 和 MySQL 的数据一致性是一个复杂但重要的问题。通过采用读写穿透、写穿透、分布式锁、双写一致性保障和延时双删策略,可以有效地减少数据不一致的风险,确保系统的稳定性和可靠性。通过合理的缓存策略和数据同步机制,可以显著提升系统的性能和用户体验。
852 22
|
消息中间件 缓存 NoSQL
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
|
运维 监控 NoSQL
【赵渝强老师】监控Redis
Redis 实例的监控是运维管理中的关键内容,主要包括内存、吞吐量、运行时信息和延时的监控。 1. **监控内存**:使用 `info memory` 可查看 Redis 内存使用情况,包括已用内存、峰值内存等。 2. **监控吞吐量**:通过 `info stats` 获取每秒处理命令数(OPS)、网络输入输出流量等。 3. **监控运行时信息**:利用 `info` 命令结合 `grep` 过滤出客户端连接数、拒绝连接数等重要信息。 4. **监控延时**:可以通过客户端手动监控或服务器内部延迟监控来检测延时问题。
479 3
|
NoSQL 关系型数据库 Redis
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
494 14
|
关系型数据库 MySQL 应用服务中间件
《docker基础篇:8.Docker常规安装简介》包括:docker常规安装总体步骤、安装tomcat、安装mysql、安装redis
《docker基础篇:8.Docker常规安装简介》包括:docker常规安装总体步骤、安装tomcat、安装mysql、安装redis
554 7

热门文章

最新文章

推荐镜像

更多