grafana+ prometheus+php 监控系统实践

本文涉及的产品
可观测监控 Prometheus 版,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 版权声明:作者:汤青松 https://blog.csdn.net/u013431141/article/details/81389460 背景团队在开发流媒体服务,需要实现一个监控在线人数的功能,可以看到历史有多少人在线,当前有多少人在线的功能。
版权声明:作者:汤青松 https://blog.csdn.net/u013431141/article/details/81389460

背景

团队在开发流媒体服务,需要实现一个监控在线人数的功能,可以看到历史有多少人在线,当前有多少人在线的功能。
如果用mysql等关系型数据库来实现,可以用事件记录日志,然后通过PHP加上一些绘图的插件来实现,但这种方式并不好,首先用关系型数据库随着时间累积,会存在数据量越来越大,导致查询缓慢,再者需要编写这部分统计代码,因此并不是最佳选择。

我们很快找到了一个“时序性数据库”(prometheus),这种数据库会以时间节点来记录我们要存储的数据,然后结合他的一些绘图功能,我们完全可以不用写绘图的逻辑,而且prometheus还提供数据收集的功能,我们只需要把需要统计的数据按照固定的格式传递就好了。而Grafana是一个专门绘图的,支持很多种数据源,比如mysql,prometheus,es等数据库,绘图功能特别强大,因此我们便使用了这两种软件的结合实现了一个监控功能。

实现过程

两个工具都是英文的,如果英文和我一样不怎么好,建议使用谷歌浏览器的网页翻译功能,可以节省很多时间

操作步骤:

  1. 安装
  2. 数据收集
  3. 收集验证
  4. 绘图配置
  5. 完成

一、安装

1. Grafana

官方安装文档:https://grafana.com/grafana/download

mac下安装
brew install grafana
docker安装
docker run -d --name=grafana -p 3000:3000 grafana/grafana 
2. prometheus

官方安装文档:https://prometheus.io/docs/prometheus/latest/installation/

配置文件

在安装之前我们先建立好配置文件,让安装后可以直接启动,配置文件的模板在官方文档中有,下面是我使用的配置文件,也可以直接使用,记得把配置文件的(#后面的内容删除)

---
global:         #全局配置
  scrape_interval: 5s   #5秒钟收集一次数据
  scrape_timeout: 3s    #连接超时时间
scrape_configs: #子配置
- job_name: 'media' # 任务名称为media
  scrape_interval: 3s   # 3秒钟收集一次数据
  metrics_path: "/api/v1/rrd/metrics"   # 收集数据的URI
  static_configs:   #子项配置
    - targets: ['gslb.offcncloud.com:8080'] #收集数据的目标主机以及端口
mac下安装
brew install prometheus
docker安装

(注意配置文件得我们先建好才能运行下面的命令)

docker run -p 9090:9090 -v /tmp/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus

二、数据收集

1. 解惑

在第一步我们安装prometheus的时候就建立了一个配置文件,其中有一个任务会去收集数据,主机名为(gslb.offcncloud.com:8080),URI地址为(/api/v1/rrd/metrics),因此会不断向 http://gslb.offcncloud.com:8080/api/v1/rrd/metrics 进行请求,来获取数据。

2. 数据格式

这个时候我们需要来了解这个数据的格式是怎么样的,先来看一段我返回的数据格式。

media_network 2
media_connectNum 12 
media_on_push 2

在上面有三行数据,每条数据分别代表不同的key => value ,中间使用空格隔开。
比如:
- 第一个media_network是代表当前的网络延时数量,
- 第二项media_connectNum则是代表当前的用户连接数,
- 第三项media_on_push 则是代表当前的推流人数。

3. 数据来源

上面的这写数据是怎么得来的呢?其实我们的系统当中并不能直接获取到当前的数量,比如连接人数,但是我们可以通过一些日志或者事件来进行统计,比如当有一个人播放视频,那么我们将会在cache中给他+1,当他离线的时候我们则会给他-1,这样便可以得到数量,我们可以来看下下面的伪代码

事件触发计数的代码部分

<?php

    /**
     * 计数
     * @param string $name network|connectNum  要统计的名称
     * @param bool $type 上线还是离线
     * @param bool $clean  是否每次清空
     * @return int|string
     */
    public static function count(string $name, $type = true
    {
        //定义名称
        $name = addslashes($name);
        $fileName = self::BASEDATA . $name ;

        //定义累加值
        $addNum = $type ? 1 : -1;

        //更新次数
        $num = "cat  $fileName";
        $num = intval(exec($num)) + $addNum;

        //连接数不能小于0
        $num = ($num < 0) ? 0 : $num;
        $cmd = "echo $num > $fileName";

        exec($cmd);

        return $num;
    }

prometheus来收集数据的对应代码部分

    public static function getCountNum()
    {
        $control_arr = ['network', 'connectNum', 'on_push'];

        self::createDir();
        foreach ($control_arr as $path) {
            //存放临时数据文件
            $tmp_file = self::BASEDATA . $path;
            $num = exec("cat $tmp_file");
            switch ($path) {
                case 'network'://网络延时数量
                    system("echo 0 > $tmp_file");
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
                case 'connectNum'://连接数
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
                case 'on_push'://推流数
                    echo "media_{$path} $num" . PHP_EOL;
                    break;
            }
        }
    }

在计数部分代码会根据用户是上线还是下线来处理不同的逻辑,比如上线数量会+1,下线则会-1

在获取数据部分,会根据不同的类型来处理他的逻辑,比如网络延时数量,会在获取数据后清空为0,而连接数则不在这个位置进行清空

三、数据验证

  1. 前言

经过前面两个步骤,如果是docker安装应该已经启动了,如果是mac安装启动命令为(注意配置文件路径):

 prometheus --config.file=/tmp/prometheus.yml
  1. 验证收集地址正确性

当启动之后,可以打开浏览器访问如下URL地址:

http://127.0.0.1:9090/targets

image

如上图,上面没有绿色的说明连接地址配置成功了,此时prometheus会不断的收集数据

  1. 验证数据格式

接着要验证数据格式是否正确,打开URL地址

http://127.0.0.1:9090/graph?g0.range_input=1h&g0.expr=&g0.tab=0

image

如果能看到我们在代码里面返回的key,便说明数据收集对接成功了

四、绘图配置

  1. 简介

绘图时候我们采用Grafana来进行,因此我们首先得启动它,如果使用docker安装时,此时应该已经启动起来了,如果是mac系统的brew安装,启动命令为

brew services start Grafana

在启动之后,我们打开浏览器,访问URL地址为:

http://192.168.43.34:3000/

image

可以在界面中看到登录框,默认的账号以及密码为 admin admin

  1. 对接数据源

进来之后首先需要进行配置数据来源,数据源的配置如下图

image

点击保存按钮,进行保存并验证,如果没有提示异常说明已经成功了。

  1. 进行绘图

现在已经有数据源了,那我们需要把这些数据展示为图表就很简单了,点击页面中很明显的+号,创建仪表盘,选择graph,如下图

image

接着变回出现一个图表,但是没有任何效果,所以我们需要编辑这个走势图,如下图所示

image

接着下方便会出现图表的配置项,这里我们可以选择数据源,如下图

image

选择数据源之后,我们需要选择使用哪一个字段,并把这个字段改为设置一个中文名称,同时这里可以设置多个字段,如下图

image

配置好之后一定要保存!

完成

  1. 查看效果

限制我们将可以看到效果,如下图

image

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
10天前
|
消息中间件 缓存 弹性计算
纯PHP+MySQL手搓高性能论坛系统!代码精简,拒绝臃肿
本内容分享了一套经实战验证的社交系统架构设计,支撑从1到100万用户的发展,并历经6次流量洪峰考验。架构涵盖客户端层(App、小程序、公众号)、接入层(API网关、负载均衡、CDN)、业务服务层(用户、内容、关系、消息等服务)、数据层(MySQL、Redis、MongoDB等)及运维监控层(日志、监控、告警)。核心设计包括数据库分库分表、多级缓存体系、消息队列削峰填谷、CQRS模式与热点数据动态缓存。同时提供应对流量洪峰的弹性伸缩方案及降级熔断机制,并通过Prometheus实现全链路监控。开源建议结构清晰,适合大型社交平台构建与优化。
90 11
|
3天前
|
Ubuntu PHP Apache
在Ubuntu系统中为apt的apache2编译PHP 7.1的方法
以上就是在Ubuntu系统中为apt的apache2编译PHP 7.1的方法。希望这个指南能帮助你成功编译PHP 7.1,并在你的Apache服务器上运行PHP应用。
43 27
|
4天前
|
PHP
基于PHP开发的资源库系统源码
基于PHP开发的资源库系统源码
27 13
|
11天前
|
存储 监控 算法
单位电脑监控软件中 PHP 哈希表算法的深度剖析与理论探究
数字化办公的时代背景下,单位电脑监控软件已成为企业维护信息安全、提升工作效率的关键工具。此类软件可全面监测员工的电脑操作行为,收集海量数据,故而高效管理和处理这些数据显得尤为重要。数据结构与算法在此过程中发挥着核心作用。本文将聚焦于哈希表这一在单位电脑监控软件中广泛应用的数据结构,并通过 PHP 语言实现相关功能,为优化单位电脑监控软件提供技术支持。
32 3
|
17天前
|
存储 监控 算法
论内网电脑监控软件中 PHP 哈希表算法的深度剖析与探究
当代企业网络管理体系中,内网电脑监控软件占据着关键地位。其功能涵盖对员工电脑操作行为的实时监测,以此维护企业信息安全,同时助力企业优化网络资源配置,提升整体工作效能。在构建内网电脑监控软件的诸多技术中,数据结构与算法构成了核心支撑体系。本文聚焦于哈希表这一重要数据结构,深入剖析其在 PHP 语言环境下,如何为内网电脑监控软件的高效运作提供助力,并通过详实的代码示例予以阐释。
33 3
|
3月前
|
API PHP
2025宝塔API一键建站系统PHP源码
2025宝塔API一键建站系统PHP源码
185 90
|
22天前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
23 3
|
1月前
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
43 10
|
1月前
|
前端开发 测试技术 PHP
任务悬赏接单发布系统PHP源码
任务发布接单系统,目前最新最完善的一套源码,前后端全开源无加密,支持会员系统、 支持店铺认证 支持普通任务和线下任务 支持微信支付和支付宝支付 短信对接短信宝
47 13
|
3月前
|
关系型数据库 MySQL PHP
免登录游客卡密发放系统PHP网站源码
这是一个简单易用的卡密验证系统,主要功能包括: 卡密管理和验证,多模板支持,响应式设计,验证码保护,防刷机制,简洁的用户界面, 支持自定义模板,移动端优化,安全性保护,易于部署和维护。
251 77

推荐镜像

更多