collectd, influxdb, grafana协同作战,不一样的监控

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 最近在写一个服务端daemon程序,需长驻运行,很想知道它的一些性能指标,比如qps啥的,最好呢还能通过前端图表的方式来展现出来。得知collectd+influxdb+grafana可能能满足我的需求,所以特来一试。目前表现还不尽人意,有时间会持续更新collectd安装好说,版本5.5,直接yum install即可,当然也可编译安装 配置文件/etc/co

最近在写一个服务端daemon程序,需长驻运行,很想知道它的一些性能指标,比如qps啥的,最好呢还能通过前端图表的方式来展现出来。得知collectd+influxdb+grafana可能能满足我的需求,所以特来一试。目前表现还不尽人意,有时间会持续更新

collectd

安装好说,版本5.5,直接yum install即可,当然也可编译安装
配置文件/etc/collectd.conf,支持很多插件,前面一个#代表系统目前支持的插件,前面有两个##的代表系统目前不支持,因为缺乏相关的包。

为了方便起见,可以先暂时只开启cpu,memory,load等一些常见plugin。具体做法也简单,去掉LoadPlugin cpu, Plugin cpu的注释

为了与influxdb通知,collectd要作为客户端,连接influxdb的25826端口,所以要打开network plugin并配置server属性;为了让influxdb能够识别collectd的数据,要安装rrdtool插件,否则/var/lib/collectd/rrd目录不会生成

最后终端执行collectd

其实collectd也支持很多web前端,我只试了其中一个叫collectd graph panel,感觉不怎么样,只看见一些密密麻麻的线,本来可以用滚轮展开,可一刷新又成了密密麻麻,体验不好。界面如下图所示:

这里写图片描述


influxdb

直接下载rpm安装,版本0.13

配置文件

###
### [collectd]
###
### Controls one or many listeners for collectd data.
###

[[collectd]]
  enabled = true
  bind-address = "10.77.44.158:25826"
  database = "collectd"
  typesdb = "/usr/share/collectd/types.db"

  # These next lines control how batching works. You should have this enabled
  # otherwise you could get dropped metrics or poor performance. Batching
  # will buffer points in memory if you have many coming in.

  batch-size = 5000 # will flush if this many points get buffered
  batch-pending = 10 # number of batches that may be pending in memory
  batch-timeout = "10s" # will flush at least this often even if we haven't hit buffer limit
  read-buffer = 0 # UDP Read buffer size, 0 means OS default. UDP listener will fail if set above OS max.

浏览器查看

/etc/init.d/influxdb start启动,用浏览器查看8083端口即可访问influxdb前端,并可用类似sql命令来访问数据
这里写图片描述

查看最新数据:
这里写图片描述

注意influxdb显示的时间应该是UTC格式的,离本地时间差了8个小时,目前还不知道怎么配置成本地时间,所以只能这样了。

CLI查看

终端执行influx可进入influxdb 命令行
这里写图片描述

上面几个命令非常类似于sql语法,只不过没了分号。干的事情就是创建了test了数据库,往一个类似table的measurement里插入了一条数据,有两个tag名叫host和region,有一个field名叫value

刷新浏览器查看:
这里写图片描述


grafana

直接下载rpm安装,版本3.1

浏览器查看3000端口,即可访问grafana前端

配置data source

这里写图片描述

配置query editor

这里写图片描述

正如上图所示,显示的数值确实有问题,也不知道percentile函数到底行不行

暂且抛砖引玉,关于grafana的更多函数还得再细细研究。

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
18天前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
99 3
|
5月前
|
监控 Java 时序数据库
性能监控之Telegraf+InfluxDB+Grafana实现JMX实时监控
【6月更文挑战15天】性能监控之Telegraf+InfluxDB+Grafana实现JMX实时监控
199 6
性能监控之Telegraf+InfluxDB+Grafana实现JMX实时监控
|
17天前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第27天】在智能运维中,Prometheus和Grafana的组合已成为监控和告警体系的事实标准。Prometheus负责数据收集和存储,支持灵活的查询语言PromQL;Grafana提供数据的可视化展示和告警功能。本文介绍如何配置Prometheus监控目标、Grafana数据源及告警规则,帮助运维团队实时监控系统状态,确保稳定性和可靠性。
83 0
|
5月前
|
Prometheus 监控 Cloud Native
基于Prometheus和Grafana的监控平台 - 环境搭建
基于Prometheus和Grafana的监控平台 - 环境搭建
|
3月前
|
存储 Linux 数据库
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
【8月更文挑战第7天】性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
71 1
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
|
3月前
|
Prometheus 监控 数据可视化
Grafana 插件生态系统:扩展你的监控能力
【8月更文第29天】Grafana 是一个流行的开源平台,用于创建和共享统计数据的仪表板和可视化。除了内置的支持,Grafana 还有一个强大的插件生态系统,允许用户通过安装插件来扩展其功能。本文将介绍一些 Grafana 社区提供的插件,并探讨它们如何增强仪表盘的功能性。
246 1
|
3月前
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
404 1
|
3月前
|
Prometheus 监控 Cloud Native
Grafana 入门指南:快速上手监控仪表盘
【8月更文第29天】Grafana 是一款开源的数据可视化和监控工具,它允许用户轻松地创建美观的仪表盘和图表,以便更好地理解和监控数据。无论您是需要监控系统性能指标、应用程序日志还是业务关键指标,Grafana 都能提供灵活而强大的解决方案。本指南将带领您快速上手 Grafana,包括安装、配置以及创建第一个监控面板。
561 1
|
3月前
|
Prometheus Kubernetes 监控
Kubernetes(K8S) 监控 Prometheus + Grafana
Kubernetes(K8S) 监控 Prometheus + Grafana
252 2
|
2月前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
292 0