监控平台架构设计

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 花了两个小时设计的高富帅方案(UPP监控平台架构设计) 目录 UPP监控平台架构设计 1.引言 1.1背景 1.
花了两个小时设计的高富帅方案(UPP监控平台架构设计)

目录

UPP监控平台架构设计

1.引言

1.1背景

1.2编写目的

1.3定义

2.范围

2.1 系统主要目标

2.2主要软件需求

2.3设计约束、限制

3.软件系统结构设计

3.1.监控方案:

①传统方式:

②改进方式:

③继续改良方式:

④高富帅方式:

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

4.主要技术介绍

监控系统搭建

日志拷贝

日志分析程序

5.需要硬件

 

 

UPP监控平台架构设计


1.1
背景1.引言

随着接入UPP的销售系统不断增加,接入的网关也不断增加,UPP担任的角色也越来越重要,UPP需要和各种角色进行频繁的交互,同时自身也是需要多个子系统进行频繁的交互来实现各种业务。在这种复杂环境下,一旦发生业务故障或应用、服务器故障,其问题根源和影响面很难准确定位。


 

这样一来,必须要有一个系统,能非常实时的获取与合作伙伴之间、子系统之间的交互状态,按各种需要的维度进行周期性统计,得到各种视角的报表,以供运维和应急人员实时定位故障。 同时它是一个及时的、可靠的、专业的监控平台,对各个销售系统、各个网关、各个关键点进行监控。


 

1.2编写目的

本概要设计文档从总体上把握UPP监控系统设计框架,包括模块划分、监控功能点划分、处理流程和接口设计。

1.3定义

    UppMonitor:统一支付平台监控。

2.范围

2.1 系统主要目标

        构建一个对UPP的综合监控平台,包括服务器监控、应用系统监控、网络监控、数据库监控四个模块。实现对upp的全面监控,出现问题能及时报警,并能准确快速的定位出现问题的故障点,提高运行保障维护效率。并且为领导提供相关的统计与决策分析数据。

2.2主要软件需求

         UPP各项指标监控,故障报警,故障定位,支付效能统计。

2.3设计约束、限制

         无。

3.软件系统结构设计

 3.1.监控方案:

①传统方式:

    

 

传统模式是通过一定数据抽取、清洗、转换、装载等技术获取数据库的数据,再扔进数据仓库里面,接着对数据仓库的数据进行统计处理,达到业务数据监控的效果。

这种方式对于时效性不高的场合比较常用,而对于时效性要求较高的场合不可采用此种方法。需要对这种形式改进。

 

②改进方式:

  

 

改进方式是引入了一个备库,通过某种数据库复制技术把生产库数据复制到备库,然后狂虐备库数据库,进行统计处理,监控业务数据。

这种方式的时效性已经明显提升,并且比较容易维护,只需维护好生产库与备库之间的同步,且监控可以随便查备库数据,不怕影响生产。

 

③继续改良方式:

  

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到日志服务器,日志服务器部署日志分析程序,将分析结果放到数据库,通过sql语句对数据库查询,得到监控报表 。

 

④高富帅方式:

   

 


 

     继续改进方式,通过将日志各个链路应用产生的日志集中传递到计算机集群里进行分析,产出报表。

在各子系统链路上,都对每一笔业务、每一次交互有着不同程度的日志记录,通过在每台子系统服务器上部署一个代理agent,以合适的频率将有用的日志传输到计算集群,实时对所有数据进行计算,产出周期性报表 。

       

 

3.2软件体系结构

3.2.1结构图

3.2.2功能模块说明

 

3.2.2.1服务器监控

         主要监控生产服务器的健康状态。包括cpu占用率、内存占用率、磁盘、进程、端口等各项指标。

      

3.2.2.2应用系统监控

        主要提供应用级别的监控,包括报表的查询、应用异常报警、日志管理、应用运行统计等模块。其中以实时交易走势图效能监控为主,能做到实时地监控支付平台的交易情况。

        

3.2.2.3网络监控

        提供对局域网、外网的监控。其中主要对银行及其第三方支付商的网关的健康进行监控,并能在出现网络问题时及时通知运维人员。


3.2.2.4数据库监控

        对数据库各项指标进行监控。


4.主要技术介绍

监控系统搭建

Struts+spring+Hibernate。

日志拷贝

植入性JAR+日志拷贝

植入性JAR+socket传输

Log4j的远程socket模式

零拷贝技术sendfile

日志分析程序

Swing+java+jdbc

 

5.需要硬件

1、一台A档服务器、两台B档服务器,一台C档服务器。

A档用于apache,部署监控系统前台;

B档用于tomcat,部署监控系统后台;

B档用于日志服务器,存放日志、部署日志分析程序;

C档用于安装Mysql;


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
5月前
|
Ubuntu 编译器 C语言
在Ubuntu22.04平台上交叉编译针对Rv1126架构的GCC13.2.0编译器的步骤。
遵循上述步骤,您应该能够在Ubuntu 22.04平台上成功交叉编译适用于RISC-V架构RV1126的GCC 13.2.0编译器,允许您为目标硬件构建应用程序和操作系统组件。
256 10
|
运维 监控 负载均衡
动态服务管理平台:驱动微服务架构的高效引擎
动态服务管理平台:驱动微服务架构的高效引擎
246 17
|
运维 监控 负载均衡
探索微服务架构下的服务治理:动态服务管理平台深度解析
探索微服务架构下的服务治理:动态服务管理平台深度解析
|
5月前
|
运维 监控 Java
初创代购选单体,千万级平台用微服务:一张表看懂架构选型红线
在跨境电商代购系统年交易额超3.2万亿元的背景下,本文对比微服务与单体架构的技术原理、适用场景及实战案例,结合性能、运维、成本等维度,为企业提供架构选型指南,助力实现高效扩展与稳定运营。
|
运维 监控 安全
探索微服务架构下的服务治理:动态服务管理平台的力量
探索微服务架构下的服务治理:动态服务管理平台的力量
|
11月前
|
Java Linux C语言
《docker基础篇:2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
《docker基础篇:2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
858 90
|
8月前
|
SQL 人工智能 前端开发
JeecgBoot 低代码平台 v3.7.4 发布,后台架构大升级
JeecgBoot 是一款基于 SpringBoot2.x/3.x 和 SpringCloud Alibaba 的企业级 AI 低代码平台,采用前后端分离架构(Ant Design & Vue3),支持 Mybatis-plus 和 Shiro。它集成了强大的代码生成器,可一键生成前后端代码,无需手动编写,大幅减少重复工作。平台支持 DeepSeek、ChatGPT 和 Ollama 等主流大模型,提供 AI 对话
503 9
|
10月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
1397 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
12月前
|
NoSQL 关系型数据库 MySQL
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
418 56
《docker高级篇(大厂进阶):4.Docker网络》包括:是什么、常用基本命令、能干嘛、网络模式、docker平台架构图解
|
9月前
|
SQL 消息中间件 Serverless
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
275 4

热门文章

最新文章