「DataFlux」基于行协议实现软件自监控

简介:

在 DataFlux 的日常开发中,我们也会遇到其他开发者都会遇到的问题:怎么监控我们⾃己写的程序呢?

DataFlux ⼤概的模块如下:

image

在上图中,各种数据都是通过数据网关(DataWay)传入数据中心的,数据网关中收集的都是行协议形式的数据,所谓行协议,它大概形式如下:

指标集名称 标签列列表 指标列列表 时间戳 

比如:

其中,标签列表是相对固定的属性,如体检数据中的姓名和性别。而指标列表则是⼀些相对比较动态的属性,它们会随着时间推移而变化。最后就是以纳秒为单位的 Unix 时间戳。

在上图中,为了采集 k8s 集群内各个服务的指标数据,有两种⽅方式:

  • 开发专⽤的采集器,采集各个服务的数据,然后上报给数据网关
  • 各个服务⾃己报告⾃己感兴趣的指标,上报给数据⽹关
    image

第⼀种方式实现不太方便,首先,各个服务需要开放数据采集接口,然后还要单独开发采集器调用接口来采集运行⽇志,通常情况下,这些数据都是⾼度定制的,不太能使用现有的工具来采集。

第二种⽅式就很灵活,得益于行协议的简单设计,各个子服务只需要将⾃己感兴趣的运行指标,以行协议的方式上报给数据⽹关即可,⽆无需在采用其它的⼯具来收集运⾏⽇志。

下⾯是⼀段示例代码:查询 InfluxDB 时,我们希望能监控一些较慢(响应时间大于 1 秒)的查询:

start := time.Now()
sql := `SELECT * FROM "体检数据"` influx.Query(sql)
elapsed := time.Since(start)
if elapsed.Seconds() > 1.0 {
event := fmt.Sprintf(`influx_slow_query,集群ID=%s,DB=%s sql="%s",cost=%f %d`, influx.InstanceID,
                          influx.DB,
                          sql,
                          elapsed.Seconds(),
                          time.Now().Nanosecond())
     dataway.Send(event)
 }

这样一来,一旦有一个慢查询,就能在 Web 上看到这个慢查询记录,我们可以轻松定位是哪个查询语句、 在哪个实例上出现了慢查询。进一步通过对 SQL 以及 InfluxDB 本身的监控分析,我们就能确定,是 SQL 编写的问题(这里明显是因为没有 LIMIT 数据条数,数据量太大导致的),还是集群负载过高的问题。

通过这种⽅式,我们能收集数据中心、数据网关自身以及集群内其它子服务的运行日志(如上图中红线箭头所示),甚至,通过 Telegraf、Prometheus 等开源⼯具,我们还能将 k8s 集群本身的数据,通过数据网关汇聚,从而实现对它们的统一监控。
image

相关文章
|
8月前
|
JSON 监控 PHP
企业局域网监控软件的扩展性设计:PHP插件开发指南
在企业网络环境中,对局域网进行监控是至关重要的。为了满足不同企业的需求,我们需要一种灵活可扩展的监控软件,能够根据具体情况进行定制和扩展。本文将介绍如何利用PHP插件来实现企业局域网监控软件的扩展性设计,并提供一些代码示例,帮助读者更好地理解和应用这一技术。
209 2
|
3月前
|
监控
通过 ATS 语言打造高性能员工监控系统
在数字化工作环境中,企业对员工行为和效率的监控需求增加。通过ATS编程语言,可构建高效员工监控系统,帮助管理与提升工作效率。示例代码展示了如何记录员工访问网址、使用应用及文件操作的时间,为企业提供评估依据。同时强调了合理合法使用监控系统的重要性。
44 1
|
5月前
|
网络协议 Linux 网络安全
流量控制--4.软件和工具
流量控制--4.软件和工具
47 4
|
8月前
|
监控 JavaScript 前端开发
使用JavaScript开发公司电脑监控软件:利用WebSocket实现实时监控
使用JavaScript和WebSocket实现员工电脑监控软件,通过WebSocket服务器实现实时数据传输。监控软件发送数据到服务器,服务器接收到数据后可自动提交至指定网站,提升企业管理效率和保障安全性。
190 2
|
8月前
|
JSON 监控 安全
使用Objective-C开发的局域网监控微信的追踪系统
在当今数字化时代,随着社交软件的普及,人们越来越多地依赖于微信等应用来进行交流。然而,对于一些特定的情况,例如家长想要监控孩子的聊天记录,或者企业需要监督员工的通讯内容,开发一款能够监控微信的追踪系统显得尤为重要。在本文中,我们将介绍如何使用Objective-C语言来开发一款局域网监控微信的追踪系统,并且提供一些代码示例。
176 0
|
运维 监控 数据安全/隐私保护
【运维知识进阶篇】zabbix5.0稳定版详解5(SNMP网络管理协议监控)
【运维知识进阶篇】zabbix5.0稳定版详解5(SNMP网络管理协议监控)
322 0
|
人工智能 监控 前端开发
大型网站重构指南 第1.3部分:前端监控和小程序监控 Sentry
大型网站重构指南 第1.3部分:前端监控和小程序监控 Sentry
1042 0
|
Web App开发 应用服务中间件 Apache
NetCraft数据:8月Web服务器端软件使用情况
NetCraft数据显示,2010年8月,互联网上共有213,458,815个网站,四种Web服务器端软件用户数据增加,其中的两种市场占有率提升。 Apache依然是世界上最受欢迎的主机端,数量高达670万台,微软的市场占有率大幅下降了1%,主要来自中国电信业的损失,lighttpd则修复了上月的下...
1039 0