利用saltstack的api接口和modules实现实时监控

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

前言:


     其实一说起实时监控,我就有很多的感想 ~  以前也做过几个类似的全网流量监控的项目,用过websocket的模式的,还有就是redis pubsub模式,还有就是从同事的nagios获取流量数据(这个结果很郁闷,nagios加了Ndoutils插件后可以把数据存入到mysql里面,当时水平不到位,获取的数据有断链,原因不明)。 这些方法也都是大同小异,一般从nagios和zabbix获取的数据不太实时,当然你也可以配置间隔时间,但那样的话,会造成你的一些个配置的改变,以及可能会出现利用率高的情况。  每个人都有自己的一套做法,我这边给大家再扩展出一个方案   salstack api的方式 !


       请多关注下我的个人博客, 更多运维研发及python, blog.xiaorui.cc


      saltstack 我也做过类似的方案,有些朋友可能看到我写的grains returners的方法 ~  其实也是可以的,需要说明的是 grains 的数据,一般是启动minion的时候获取的,不太好做实时。 returners的话,是采用回调的方法,也就是说 我把想要的数据交给minion处理,这家伙搞到数据后,往另一个接口扔数据。我这个时候想看数据的话,就从库里面看,比如他扔给redis,我就从redis里面看 ~


有需求的朋友可以先瞅瞅我以前写的例子,大家要是觉得那里不对,咱们讨论下哈


websocket的模式:

http://rfyiamcool.blog.51cto.com/1030776/1269232


redis pub sub的模式:

(咱们的saltstack api的模式也是属于pubsub的模式~)

http://rfyiamcool.blog.51cto.com/1030776/1272629


第三方监控的扩展模式:

比如nagios的ndoutils插件~   可以简单的mysql sql语句就可以获取数据 ~

获取监控项目

1
2
3
4
5
6
7
8
9
10
11
12
-------------------------------+-------------------
192.168 . 15.178  | CPU
192.168 . 15.178  | Current Load
192.168 . 15.178  | Current Users
192.168 . 15.178  | HTTP
192.168 . 15.178  | PING
192.168 . 15.178  | Qcache_free
192.168 . 15.178  | Root Partition
192.168 . 15.178  | SSH
192.168 . 15.178  | system swap
192.168 . 15.178  | Total Processes
localhost | CPU


为啥用saltstack api

    原因就是好用,返回的结果也是可控的,是json的数据,好拆分!    一开始刚用saltstack做测试的时候,数据的前端页面数据渲染都是用的subprocess的模块,搓的要命。


   有了接口,咱们可以做多线程的操作,当然saltstack本身确实是多进程的模式,用的multiprocess的模块。 在终端下肯定是好的,但是在这里不太适用,毕竟咱们是有啥数据,先返回,而不是等所有数据都搞到手了,才渲染页面。


原文http://rfyiamcool.blog.51cto.com/1030776/1345518

071222482.jpg



简单描述下他的实现思路:


利用saltstack api 获取数据,然后插入到数据库里面,然后前端从后端来获取数据。


做这个东西,需要点其他的支撑,比如 基础的集群saltstack的使用,数据库的使用,前端样式的使用。 这些还算好学的,搜搜网上的文档也都可以搞定。



图表的数据暂时是模拟的,环境有点问题,我就简单模拟了一个server ! 原理都是那么回事 !


图表的实现方式: 用sparkline实现的


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<!DOCTYPE HTML PUBLIC  "-//W3C//DTD HTML 4.01//EN"
     "http://www.w3.org/TR/html4/strict.dtd" >
<head>
     <script type= "text/javascript"  src= "jquery-1.7.2.js" ></script>
     <script type= "text/javascript"  src= "jquery.sparkline.js" ></script>
     <script type= "text/javascript" >
     $( function () {
         /** This code runs when everything has been loaded on the page */
         /* Inline sparklines take their values from the contents of the tag */
         $( '.inlinesparkline' ).sparkline();
         /* Sparklines can also take their values from the first argument
         passed to the sparkline() function */
         var  myvalues = [ 10 , 8 , 5 , 7 , 4 , 4 , 1 ];
         $( '.dynamicsparkline' ).sparkline(myvalues);
         /* The second argument gives options such as chart type */
         $( '.dynamicbar' ).sparkline(myvalues, {type:  'bar' , barColor:  'green' } );
         /* Use 'html' instead of an array of values to pass options
         to a sparkline with data in the tag */
         $( '.inlinebar' ).sparkline( 'html' , {type:  'bar' , barColor:  'red' } );
     });
     </script>
</head>
<body>
<p>
Inline Sparkline: <span  class = "inlinesparkline" > 1 , 4 , 4 , 7 , 5 , 9 , 10 </span>.
</p>
<p>
Sparkline  with  dynamic  data: <span  class = "dynamicsparkline" >Loading..</span>
</p>
<p>
Bar chart  with  dynamic  data: <span  class = "dynamicbar" >Loading..</span>
</p>
<p>
Bar chart  with  inline data: <span  class = "inlinebar" > 1 , 3 , 4 , 5 , 3 , 5 </span>
</p>
</body>
</html>


先放一个demo,这两天把项目的细节写出来 !!!




 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1345518,如需转载请自行联系原作者



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
19小时前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
1天前
|
数据采集 数据挖掘 API
如何有效利用API接口进行数据采集
在当今数字化的世界中,API(应用程序编程接口)作为数据交换的桥梁,对于电商企业来说尤为重要。它们允许企业从丰富的数据源中提取必要的信息,为商业决策提供数据支持。本文将围绕如何高效地利用API进行数据采集展开讨论,并提供一些实用的代码示例。
|
2天前
|
JSON 文字识别 API
文字识别OCR服务通常提供了一种API接口
文字识别OCR服务通常提供了一种API接口
30 6
|
13天前
|
Web App开发 前端开发 JavaScript
如何快速与呼叫中心系统CTI/API/SDK接口集成
由于呼叫中心系统涉及通信、CTI、终端设备、中继线路等技术与概念,从事信息管理系统、ERP、CRM、工单系统等的研发人员一般不是非常熟悉这部分技术,当需要提供具备呼叫中心能力的解决方案时,往往要用较多的时间来研究这些相对复杂的技术,对接过程比较长,开发调试有一定的阻力,基于此,我们提出一种更加简便高效的集成方法,可以零代码集成呼叫中心平台,实现项目快速上线。
如何快速与呼叫中心系统CTI/API/SDK接口集成
|
14天前
|
安全 前端开发 程序员
Springboot-EolinkApikit一键生成注释与一键上传API接口(idea社区版2023.1.4+apache-maven-3.9.3-bin)
Springboot-EolinkApikit一键生成注释与一键上传API接口(idea社区版2023.1.4+apache-maven-3.9.3-bin)
11 0
|
14天前
|
Java API Maven
Springboot快速搭建跨域API接口(idea社区版2023.1.4+apache-maven-3.9.3-bin)
Springboot快速搭建跨域API接口(idea社区版2023.1.4+apache-maven-3.9.3-bin)
20 0
|
14天前
|
开发框架 JSON .NET
初学者不会写接口怎么办?微软Visual Studio 2022无脑式API接口创建——Swagger一键导入APIKit快速测试
初学者不会写接口怎么办?微软Visual Studio 2022无脑式API接口创建——Swagger一键导入APIKit快速测试
32 0
|
16天前
|
SQL 安全 API
api接口是什么意思,api接口该如何防护呢?
api接口是什么意思,api接口该如何防护呢?
|
16天前
|
监控 算法 Java
保卫你的API:深入了解接口限流
保卫你的API:深入了解接口限流
26 0
|
17天前
|
机器学习/深度学习 搜索推荐 API
商品信息全景图:API接口在聚合商品数据中的应用
在电子商务的世界中,API接口是连接不同服务和数据的桥梁。特别是在商品信息的聚合上,API接口扮演了至关重要的角色,它允许开发者从多个来源收集、整合并展示商品信息,从而为消费者提供全面且一致的购物体验。本文将深入探讨API接口在聚合商品数据中的应用,并通过具体的代码示例来揭示其工作原理。

相关产品

  • 云迁移中心