利用saltstack的api接口和modules实现实时监控

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

前言:


     其实一说起实时监控,我就有很多的感想 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的模式的,还有就是redis pubsub模式,还有就是从同事的nagios获取流量数据(这个结果很郁闷,nagios加了Ndoutils插件后可以把数据存入到mysql里面,当时水平不到位,获取的数据有断链,原因不明)。 这些方法也都是大同小异,一般从nagios和zabbix获取的数据不太实时,当然你也可以配置间隔时间,但那样的话,会造成你的一些个配置的改变,以及可能会出现利用率高的情况。  每个人都有自己的一套做法,我这边给大家再扩展出一个方案   salstack api的方式 !


       请多关注下我的个人博客, 更多运维研发及python, blog.xiaorui.cc


      saltstack 我也做过类似的方案,有些朋友可能看到我写的grains returners的方法 ~  其实也是可以的,需要说明的是 grains 的数据,一般是启动minion的时候获取的,不太好做实时。 returners的话,是采用回调的方法,也就是说 我把想要的数据交给minion处理,这家伙搞到数据后,往另一个接口扔数据。我这个时候想看数据的话,就从库里面看,比如他扔给redis,我就从redis里面看 ~


有需求的朋友可以先瞅瞅我以前写的例子,大家要是觉得那里不对,咱们讨论下哈


websocket的模式:

http://rfyiamcool.blog.51cto.com/1030776/1269232


redis pub sub的模式:

(咱们的saltstack api的模式也是属于pubsub的模式~)

http://rfyiamcool.blog.51cto.com/1030776/1272629


第三方监控的扩展模式:

比如nagios的ndoutils插件~   可以简单的mysql sql语句就可以获取数据 ~

获取监控项目

1
2
3
4
5
6
7
8
9
10
11
12
-------------------------------+-------------------
192.168 . 15.178  | CPU
192.168 . 15.178  | Current Load
192.168 . 15.178  | Current Users
192.168 . 15.178  | HTTP
192.168 . 15.178  | PING
192.168 . 15.178  | Qcache_free
192.168 . 15.178  | Root Partition
192.168 . 15.178  | SSH
192.168 . 15.178  | system swap
192.168 . 15.178  | Total Processes
localhost | CPU


为啥用saltstack api

    原因就是好用,返回的结果也是可控的,是json的数据,好拆分!    一开始刚用saltstack做测试的时候,数据的前端页面数据渲染都是用的subprocess的模块,搓的要命。


   有了接口,咱们可以做多线程的操作,当然saltstack本身确实是多进程的模式,用的multiprocess的模块。 在终端下肯定是好的,但是在这里不太适用,毕竟咱们是有啥数据,先返回,而不是等所有数据都搞到手了,才渲染页面。


原文http://rfyiamcool.blog.51cto.com/1030776/1345518

071222482.jpg



简单描述下他的实现思路:


利用saltstack api 获取数据,然后插入到数据库里面,然后前端从后端来获取数据。


做这个东西,需要点其他的支撑,比如 基础的集群saltstack的使用,数据库的使用,前端样式的使用。 这些还算好学的,搜搜网上的文档也都可以搞定。



图表的数据暂时是模拟的,环境有点问题,我就简单模拟了一个server ! 原理都是那么回事 !


图表的实现方式: 用sparkline实现的


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<!DOCTYPE HTML PUBLIC  "-//W3C//DTD HTML 4.01//EN"
     "http://www.w3.org/TR/html4/strict.dtd" >
<head>
     <script type= "text/javascript"  src= "jquery-1.7.2.js" ></script>
     <script type= "text/javascript"  src= "jquery.sparkline.js" ></script>
     <script type= "text/javascript" >
     $( function () {
         /** This code runs when everything has been loaded on the page */
         /* Inline sparklines take their values from the contents of the tag */
         $( '.inlinesparkline' ).sparkline();
         /* Sparklines can also take their values from the first argument
         passed to the sparkline() function */
         var  myvalues = [ 10 , 8 , 5 , 7 , 4 , 4 , 1 ];
         $( '.dynamicsparkline' ).sparkline(myvalues);
         /* The second argument gives options such as chart type */
         $( '.dynamicbar' ).sparkline(myvalues, {type:  'bar' , barColor:  'green' } );
         /* Use 'html' instead of an array of values to pass options
         to a sparkline with data in the tag */
         $( '.inlinebar' ).sparkline( 'html' , {type:  'bar' , barColor:  'red' } );
     });
     </script>
</head>
<body>
<p>
Inline Sparkline: <span  class = "inlinesparkline" > 1 , 4 , 4 , 7 , 5 , 9 , 10 </span>.
</p>
<p>
Sparkline  with  dynamic  data: <span  class = "dynamicsparkline" >Loading..</span>
</p>
<p>
Bar chart  with  dynamic  data: <span  class = "dynamicbar" >Loading..</span>
</p>
<p>
Bar chart  with  inline data: <span  class = "inlinebar" > 1 , 3 , 4 , 5 , 3 , 5 </span>
</p>
</body>
</html>


先放一个demo,这两天把项目的细节写出来 !!!




 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1345518,如需转载请自行联系原作者



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
18天前
|
缓存 前端开发 API
API接口封装系列
API(Application Programming Interface)接口封装是将系统内部的功能封装成可复用的程序接口并向外部提供,以便其他系统调用和使用这些功能,通过这种方式实现系统之间的通信和协作。下面将介绍API接口封装的一些关键步骤和注意事项。
|
24天前
|
监控 前端开发 JavaScript
实战篇:商品API接口在跨平台销售中的有效运用与案例解析
随着电子商务的蓬勃发展,企业为了扩大市场覆盖面,经常需要在多个在线平台上展示和销售产品。然而,手工管理多个平台的库存、价格、商品描述等信息既耗时又容易出错。商品API接口在这一背景下显得尤为重要,它能够帮助企业在不同的销售平台之间实现商品信息的高效同步和管理。本文将通过具体的淘宝API接口使用案例,展示如何在跨平台销售中有效利用商品API接口,以及如何通过代码实现数据的统一管理。
|
1月前
|
安全 算法 API
产品经理必备知识——API接口
前言 在古代,我们的传输信息的方式有很多,比如写信、飞鸽传书,以及在战争中使用的烽烟,才有了著名的烽火戏诸侯,但这些方式传输信息的效率终究还是无法满足高速发展的社会需要。如今万物互联的时代,我通过一部手机就可以实现衣食住行的方方面面,比如:在家购物、远程控制家电、自动驾驶等等,背后都离不开我们今天要聊的API接口。
|
1月前
|
数据采集 JSON API
如何实现高效率超简洁的实时数据采集?——Python实战电商数据采集API接口
你是否曾为获取重要数据而感到困扰?是否因为数据封锁而无法获取所需信息?是否因为数据格式混乱而头疼?现在,所有这些问题都可以迎刃而解。让我为大家介绍一款强大的数据采集API接口。
|
1月前
|
安全 API 数据安全/隐私保护
API接口知识小结
应用程序接口API(Application Programming Interface),是提供特定业务输出能力、连接不同系统的一种约定。这里包括外部系统与提供服务的系统(中后台系统)或后台不同系统之间的交互点。包括外部接口、内部接口,内部接口又包括:上层服务与下层服务接口、同级接口。
|
2天前
|
API 开发者
邮件API接口使用的方法和步骤
AOKSEND指南:了解和使用邮件API接口,包括选择适合的接口(如AOKSEND、Mailgun、SMTP),获取访问权限,配置发件人、收件人及邮件内容,调用接口发送邮件,并处理返回结果,以高效集成邮件功能。
|
4天前
|
Java API Android开发
[NDK/JNI系列04] JNI接口方法表、基础API与异常API
[NDK/JNI系列04] JNI接口方法表、基础API与异常API
11 0
|
7天前
|
XML JSON API
快速淘宝商品详情页面API接口传输 php
PI(Application Programming Interface,应用程序接口)是一组预定义的函数、协议和工具,用于构建软件应用程序之间的交互。它允许不同的软件系统和应用通过统一的接口进行数据交换和通信
|
12天前
|
人工智能 API 开发者
免费使用Kimi的API接口,kimi-free-api真香
今年AI应用兴起,各类智能体涌现,但API免费额度有限。为解决这一问题,GitHub上的[kimi-free-api](https://github.com/LLM-Red-Team/kimi-free-api)项目提供了方便,支持高速流式输出、多轮对话等,与ChatGPT接口兼容。此外,还有其他大模型的免费API转换项目,如跃问StepChat、阿里通义Qwen等。该项目可帮助用户免费体验,通过Docker-compose轻松部署。只需获取refresh_token,即可开始使用。这个开源项目促进了AI学习和开发,为探索AI潜力提供了新途径。
233 2
|
16天前
|
JSON 监控 API
在API接口对接中关键示例问题(1)
在API接口对接中,有几个关键的问题需要注意,以确保接口的稳定性、安全性和易用性。以下是这些问题及部分示例代码的简要概述