dba+ 开源工具:面向开发的 MongoDB 图形可视化监控

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 一款面向研发人员查看的 MongoDB 图形可视化监控工具,借鉴了 Percona PMM Grafana 以及官方自带的 mongostat 工具输出的监控指标项,去掉了一些不必要、看不懂的监控项。目前采集了数据库连接数、QPS/TPS、内存使用率统计,副本集 replset 状态信息和同步复制延迟时长。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

简介

一款面向研发人员查看的 MongoDB 图形可视化监控工具,借鉴了 Percona PMM Grafana 以及官方自带的 mongostat 工具输出的监控指标项,去掉了一些不必要、看不懂的监控项。目前采集了数据库连接数、QPS/TPS、内存使用率统计,副本集 replset 状态信息和同步复制延迟时长。

采用远程连接方式进去获取数据,所以不需要在数据库服务器端部署相关 agent 或计划任务,可实现微信和邮件报警。

注:监控环境为 MongoDB 3.2 以上版本,2.X 版本未测试。

untitled

Mongo 状态监控,点击图表,可以查看历史曲线图:

1、连接数

untitled

2、QPS 图表

untitled

环境搭建
1、php-mysql 驱动安装:
shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql

2、php-mongo 驱动安装:
shell> pecl install mongo
把 extension=mongo.so 加入到 /etc/php.ini 最后一行
重启 httpd 服务,service httpd restart
注:如果通过 pecl 安装报错,请参考以下链接,进行源码安装。PHP 5.4 版本对应的驱动版本是 mongodb-1.3.4.tgz
参考链接: https://www.runoob.com/mongodb/mongodb-install-php-driver.html

3、创建 MongoDB 超级用户权限(监控采集数据时使用):
首先我们在被监控的数据库端创建授权帐号,允许采集器服务器能连接到 MongoDB 数据库。由于需要执行命令 db.runCommand({serverStatus:1,repl:1}).repl 和 db.adminCommand( { replSetGetStatus: 1 } ).members,所以需要授予 root 角色,授权方式如下所示:

> use admin
>db.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]})

mongo_monitor 部署
https://github.com/hcymysql/mongo_monitor/archive/master.zip 安装包解压缩到 /var/www/html/ 目录下:
cd /var/www/html/mongo_monitor/
chmod 755 ./mail/sendEmail
chmod 755 ./weixin/wechat.py
注:邮件和微信报警调用的第三方工具,所以这里要赋予可执行权限 755。
1、导入 Mongo Monitor 监控工具表结构(mongo_monitor 库):
cd /var/www/html/mongo_monitor/

mysql -uroot -p123456 < mongo_monitor_schema.sql

2、录入被监控主机的信息:

INSERT INTO `mongo_status_info`
(ip,tag,USER,pwd,PORT,authdb,send_mail_to_list,send_weixin_to_list,threshold_alarm_connection,threshold_alarm_repl)
VALUES('10.10.159.31','MongoDB 测试机 1','admin','hechunyang','27017','admin','hechunyang','hechunyang@126.com',1000,60);

注,以下字段可以按照需求变更:
ip 字段含义:输入被监控 Mongo 的 IP 地址
tag 字段含义:输入被监控 Mongo 的业务名字
user 字段含义:输入被监控 Mongo 的用户名(ROOT 权限)
pwd 字段含义:输入被监控 Mongo 的密码
port 字段含义:输入被监控 MySQL 的端口号
authdb 字段含义:输入被监控 Mongo 的数据库登录权限认证库名
monitor 字段含义:0 为关闭监控(也不采集数据,直接跳过);1 为开启监控(采集数据)
send_mail 字段含义:0 为关闭邮件报警 ;1 为开启邮件报警
send_mail_to_list 字段含义:邮件人列表
send_weixin 字段含义:0 为关闭微信报警 ;1 为开启微信报警
send_weixin_to_list 字段含义:微信公众号
threshold_alarm_connection 字段含义:设置连接数阀值(单位个)
threshold_alarm_repl 字段含义:设置主从复制延迟阀值(单位秒)
3、修改 conn.php 配置文件:
vim /var/www/html/mongo_monitor/conn.php
$con = mysqli_connect(“127.0.0.1”,“admin”,“hechunyang”,“mongo_monitor”,“3306”) or die(“数据库链接错误”.mysql_error());
改成你的 Mongo Monitor 监控工具表结构(mongo_monitor 库)连接信息。
4、修改邮件报警信息:
cd /var/www/html/mongo_monitor/mail/
vim mail.php
system("./mail/sendEmail -f chunyang_he@139.com -t ‘{$this->send_mail_to_list}’ -s smtp.139.com:25 -u ‘{$this->alarm_subject}’ -o message-charset=utf8 -o message-content-type=html -m '报警信息:
{$this->alarm_info}’ -xu chunyang_he@139.com -xp ‘123456’ -o tls=no");
改成你的发件人地址、账号密码,里面的变量不用修改。
5、修改微信报警信息:
cd /var/www/html/mongo_monitor/weixin/
vim wechat.py
微信企业号设置移步 https://github.com/X-Mars/Zabbix-Alert-WeChat/blob/master/README.md 看此教程配置。
6、定时任务每分钟抓取一次:
crontab -l

*/1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_status.php > /dev/null 2 >&1
*/1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_repl.php > /dev/null 2 >&1

check_mongo_status.php(用来采集被监控端 Mongo 状态信息和触发报警)
check_mongo_repl.php(用来采集被监控端 Mongo 主从复制信息和触发报警)
7、更改页面自动刷新频率:
vim mongo_replset_monitor.php

http-equiv="refresh" content="600"

默认页面每 600 秒自动刷新一次。
8、页面访问:
http://yourIP/mongo_monitor/mongo_replset_monitor.php
加一个超链接,可方便地接入你们的自动化运维平台里。
下载方式
此工具现通过 dbaplus 社群免费为大家提供下载使用。若使用过程中有任何问题或建议,可随时与我们联系,欢迎大家试用。

登录以下链接即可下载

https://github.com/hcymysql/mongo_monitor

更多开源工具 & 脚本

untitled

详情及下载: http://dbaplus.cn/list-142-1.html
工具下载:
https://github.com/hcymysql/mongo_monitor

作者介绍:
贺春旸,凡普金科爱钱进 DBA 团队负责人,《MySQL 管理之道:性能调优、高可用与监控》第一、二版作者,曾任职于中国移动飞信、安卓机锋网。致力于 MariaDB、MongoDB 等开源技术的研究,主要负责数据库性能调优、监控和架构设计。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-22
本文作者:dbaplus社群
本文来自:“InfoQ”,了解相关信息可以关注“InfoQ

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2月前
|
监控 NoSQL MongoDB
MongoDB 监控
10月更文挑战第18天
30 0
MongoDB 监控
|
2月前
|
存储 人工智能 NoSQL
使用 MongoDB 构建 AI:Gradient Accelerator Block 如何在几秒钟内让您从零开发 AI
借助 MongoDB,开发者可以存储任何结构的数据,然后使用单一查询 API 和驱动程序将这些数据用于 OLTP、文本搜索和向量搜索处理。
|
2月前
|
存储 监控 NoSQL
TDengine 3.3.3.0 版本上线:优化监控、增强 MongoDB 支持
今天我们非常高兴地宣布,TDengine 3.3.3.0 版本正式发布。本次更新引入了多项重要功能和性能优化,旨在为用户提供更高效、更灵活的数据解决方案。
56 0
|
4月前
|
开发框架 NoSQL 关系型数据库
基于SqlSugar的开发框架循序渐进介绍(27)-- 基于MongoDB的数据库操作整合
基于SqlSugar的开发框架循序渐进介绍(27)-- 基于MongoDB的数据库操作整合
|
6月前
|
NoSQL Linux MongoDB
MongoDB提供的这些工具
【6月更文挑战第8天】MongoDB提供的这些工具
128 6
|
6月前
|
NoSQL 数据可视化 关系型数据库
MongoDB提供的这些工具
【6月更文挑战第8天】MongoDB提供的这些工具
59 3
|
7月前
|
监控 NoSQL MongoDB
【MongoDB 专栏】MongoDB 的监控与性能调优
【5月更文挑战第11天】在数字化时代,MongoDB作为流行的非关系型数据库,其监控和性能调优至关重要。监控能实时了解数据库运行状态,预防性能问题,评估系统健康。关键监控指标包括系统资源、查询性能、连接数和数据存储量。常用工具如`mongostat`、`mongotop`,以及Prometheus、Grafana等。性能调优涉及索引、查询优化、数据模型调整、配置修改及分片复制。通过持续监控和调优,可确保MongoDB高效稳定运行,适应业务发展需求。
229 1
【MongoDB 专栏】MongoDB 的监控与性能调优
|
6月前
|
NoSQL 数据可视化 前端开发
MongoDB可视化工具Robo 3T的下载、安装与使用介绍
【6月更文挑战第3天】该文介绍了如何下载和安装MongoDB的图形化工具Robo 3T。首先,建议在开始之前安装MongoDB。然后,访问Robo 3T官网下载安装包,接受条款并选择适合的操作系统版本(此处以Windows 64位为例)。下载后,运行安装程序,依次点击&quot;Next&quot;,选择安装路径,等待安装完成。安装后,启动Robo 3T,同意用户协议,免费激活并登录或注册账号。最后,按照提示完成配置步骤。
489 1
|
5月前
|
NoSQL MongoDB 数据库
MongoDB的GUI工具——Robo 3T连接远程数据库MongoDB
MongoDB的GUI工具——Robo 3T连接远程数据库MongoDB
392 0
|
7月前
|
人工智能 NoSQL atlas
Fireworks AI和MongoDB:依托您的数据,借助优质模型,助力您开发高速AI应用
我们欣然宣布MongoDB与 Fireworks AI 正携手合作让客户能够利用生成式人工智能 (AI)更快速、更高效、更安全地开展创新活动
2782 1
下一篇
DataWorks