道旅鬼谷子分享:如何打好业务监控的组合拳

简介: 公司由于业务迅速扩展,需要针对业务方面进行定制监控。通过选型最终采用了 ARMS 方案。以下篇幅简单介绍了方案的大致概要以及最终效果,以供读者参考。一套组合拳,在数据分析、实时计算、报警、API、持久化存储等方面给我们节省了不少时间,也提供了更多的可能性。所以,最终我们选择了 ARMS。

来自 道旅旅游科技股份有限公司 鬼谷子 的撰稿

业务背景

公司由于业务迅速扩展,需要针对业务方面进行定制监控。通过选型最终采用了 ARMS 方案。以下篇幅简单介绍了方案的大致概要以及最终效果,以供读者参考。

选择

以下是几个产品方案的对比。需要解释的是,以下三个产品在我们的架构中都有大量使用,但是只是在本监控方案中,由于一些业务场景的特殊性,我们使用了业务实时监控服务 ARMS,虽然这并不代表 ARMS 是一个银弹。

MaxCompute

我们以前用过 MaxCompute 作周期性的业务数据计算,缺点非常明显,就是延迟性太高,这对于实时监控来说是致命的直接被PASS。

流计算

参加深圳云栖大会的时候了解到流计算如获至宝,也回来尝试使用过一段时间,在实时监控的功能节点上是很重要的一环没错,但太过于细节,导致整条线过程冗长且繁杂,最后也放弃了。

业务实时监控服务 ARMS

一套组合拳,在数据分析、实时计算、报警、API、持久化存储等方面给我们节省了不少时间,也提供了更多的可能性。所以,最终我们选择了 ARMS。

架构

image

数据源

IIS日志

Windows ECS 安装 Logtail 对 IIS 产生的日志进行实时抓取

业务日志

使用日志服务 SDK 提交日志

实时数据分析

ARMS 的配置分为以下几个部分,由于篇幅原因,仅列出重点,详细内容不赘述。

日志切分

根据规则对日志进行切分、类型转换、字段重组等

数据集

将符合条件的数据进行汇总保存(留待后续分析和监控使用),按需设置报警(邮件、短信)

数据使用

对接 API

通过对接 API,可以对数据集内的数据进行查询,以便后续的业务分析和问题复查

业务分析

实时查询数据集内的结果,根据业务在内存中进行二次计算形成报表

监控

我们做了个 Monitoring 的项目,对接 Grafana 的 Datasource,这样便可以在 Grafana 实时看到数据集内的数据。

使用案例

供应商酒店请求分析 监控

该场景用于我们对供应商酒店请求数的业务监控和事后分析,主要使用方是业务人员。介绍如下:

  • 通过日志服务 SDK 在酒店请求接口中埋点日志
  • 在 ARMS 后台根据供应商 Id,酒店 Id,请求维度等参数配置数据集
  • 对接 ARMS 接口,通过下钻的方式获取到数据。
  • 在内存中根据业务进行二次计算
  • 生成报表

image

调用第三方接口的 Status Code 监控

该场景用于我们对供应商酒店请求的状态码分析,主要使用方是运维和开发。本方案实现了 ARMS 对 Grafana 的对接,基本介绍如下:

  • 通过 Logtail 实时抓取 IIS 日志
  • 在 ARMS 后台配置好数据集
  • 在 Monitoring 项目中对接 ARMS 接口,并根据 simpleJson 接口规则实现 Grafana Data Source 对接。
    image
  • 为 SimpleJson 的 Search 接口定义 target 规则,并生成 target 与配置对应关系
  • 使用 ARMS 的下钻功能为 SimpleJson 的 Search 接口支持 Templating 功能
    image
  • 在 Grafana 中使用 Moniroing 提供的 simpleJson 接口实现展示数据
    image

点击了解 业务实时监控服务 ARMS

相关实践学习
通过轻量消息队列(原MNS)主题HTTP订阅+ARMS实现自定义数据多渠道告警
本场景将自定义告警信息同时分发至多个通知渠道的需求,例如短信、电子邮件及钉钉群组等。通过采用轻量消息队列(原 MNS)的主题模型的HTTP订阅方式,并结合应用实时监控服务提供的自定义集成能力,使得您能够以简便的配置方式实现上述多渠道同步通知的功能。
相关文章
|
数据安全/隐私保护
centos8 Root用户忘记密码
centos8 Root用户忘记密码
628 0
|
5月前
|
Web App开发 安全 机器人
Windows 10/11 OpenClaw 部署全攻略:核心报错速解与实操指南
本文是Windows 10/11专用OpenClaw(“小龙虾”)部署全攻略,聚焦解决高频报错“当前不支持该文件类型”,详解下载、解压、路径设置、安全软件关闭等关键避坑点,并提供一键部署实操、飞钉机器人联动、差异化办公指令及进阶技巧,零代码本地运行,隐私安全高效。
|
9月前
|
存储 弹性计算 人工智能
阿里云服务器最新租用费用深度解析:轻量、ECS与GPU全价位测评
阿里云服务器租用费用多少钱1年?最新阿里云服务器租用费用优惠价格表,轻量2核2G轻量服务器一年68元,折合5.6元1个月,新老用户同享99元一年服务器,2核4G5M服务器ECS优惠价199元一年(企业专享),2核4G4M轻量服务器298元一年,4核8G服务器955元一年,4核16G10M服务器70元1个月、210元3个月,8核32G服务器160元1个月、480元3个月。本文深度解析阿里云轻量、ECS与GPU价格。阿里云云服务器配置可以选择2核2G3M、2核4G5M带宽、2核8G、4核8G、4核16G、8核16G、8核32G等配置可选。
|
10月前
|
弹性计算 网络协议 Java
阿里云服务器u2i实例:企业新用户不会出错的选择,2核4G、4核8G、4核32G等配置优惠价格
阿里云服务器ECS通用算力型u2i实例,算力性能超u1实例40%,兼容多代际服务器(支持 Intel 最新第五代和第六代至强处理器平台),提供企业级的性能保证,满足客户对成本敏感的业务需求。目前u2i云服务器2核2G、2核4G、4核4G、4核8G、2核8G、4核32G等指定配置2.5折1年。下面是小编整理的u2i云服务器实例性能测评及优惠价格:
606 6
阿里云服务器u2i实例:企业新用户不会出错的选择,2核4G、4核8G、4核32G等配置优惠价格
|
Java API Nacos
OpenFeign与Nacos结合使用时获取服务提供者的真实IP地址的方法
最终,当服务调用一次次执行,数据一次次精准传递时,这个寻找真实IP地址的宝藏狩猎,就顺利完成了。这不单单是原创性的解决方案,更是创意性地结合了现代微服务技术,和你一起编织了这场寻宝之旅的冒险故事。
612 25
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】python之人工智能应用篇--代码生成技术
代码生成技术是人工智能与软件工程交叉领域的一项重要技术,它利用机器学习、自然语言处理和其他AI算法自动编写或辅助编写计算机程序代码。这一技术旨在提高编程效率、降低错误率,并帮助非专业开发者快速实现功能。以下是代码生成技术的概述及其典型应用场景。
598 6
|
前端开发 JavaScript 搜索推荐
深入理解前端路由:构建现代 Web 应用的基石(下)
深入理解前端路由:构建现代 Web 应用的基石(下)
深入理解前端路由:构建现代 Web 应用的基石(下)
|
存储 网络协议 安全
详解TCP报文格式以及TCP相关特性
详解TCP报文格式以及TCP相关特性
1455 2
|
数据可视化 数据处理 UED
40000+条考研信息数据可视化(学校、专业分数分布)
40000+条考研信息数据可视化(学校、专业分数分布)
|
机器学习/深度学习 算法
【MATLAB】 多元变分模态分解MVMD信号分解算法
【MATLAB】 多元变分模态分解MVMD信号分解算法
2112 0

热门文章

最新文章