【开源】.net 分布式架构之监控平台

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: net 分布式集群监控平台,用于集群的性能监控,应用耗时监控管理,统一日志管理等多维度的性能监控分析。

开源地址: http://git.oschina.net/chejiangyi/Dyd.BaseService.Monitor

.net 简单监控平台,用于集群的性能监控,应用耗时监控管理,统一日志管理等多维度的性能监控分析。

集群的性能监控:(需要服务器部署监控节点)

  1. 目前仅支持windows服务器监控,
  2. 支持windows自带的性能分析器所有配置项监控,及预警的定制。
  3. 支持自定义的插件扩展服务器采集dll进行各类性能采集及预警的定制。
  4. 支持性能采集快照。
  5. 支持cpu,内存,磁盘读写,网络上传下载,iis请求这些基础的服务器性能图展示。

应用耗时监控管理:(需要应用在api和sql层嵌入sdk进行拦截)

  1. 支持sql的耗时(均值,最大值,最小值,查询次数)性能分析及性能图展示。
  2. 支持api接口的耗时(均值,最大值,最小值,查询次数)性能分析及性能图展示。
  3. 支持api与api内部sql的对照参照分析。
  4. 问题sql:未进行参数化sql的分析列表。

统一日志管理:(需要应用集成sdk)

  1. 整个平台的错误日志集中管理及预警邮件发送。
  2. 整个平台的普通日志集中管理。

监控平台任务:(需要将"任务"挂载在"任务调度平台"开源项目, .net 任务调度平台)

  1. 统计SQLHASH和URL的对照
  2. 统计服务器监控信息
  3. 自动创表
  4. 统计SQLHASH对照和SQL执行次数
  5. SQL性能监控统计
  6. API性能监控统计
  7. 耗时性能预警任务
  8. 错误频率预警任务
  9. 错误邮件发送任务
    10.集群性能预警任务

备注:
每个公司都有特定的平台统一监控的需求及改进方案,所以开源的监控平台只是一种参考,并不适用于不同行业不同的项目。
希望此开源项目能带来更多思路,成为同类优秀项目的起点。另外项目文档及安装资料目前未整理全面,后续完善。

(项目允许用于第三方公司进行二次开发且在公司内部使用,但禁止以盈利为目的进行商业行为)

未来构想:

  1. 底层采用nosql等其他存储进行大容量数据采集及分析。

备注:

  1. 监控平台安装说明里面的文件是内部打包的文件,里面的xxf和开源的xxf是不一样的。若遇到xxf命名空间问题,请在编译的时候使用"引用"文件夹下面的xxf,那个xxf是为监控平台定制的阉割分离后的xxf。
  2. 监控平台登录集成了内部的crm权限系统,所以第三方使用者需修改web站点的登录代码。

开源相关群: .net 开源基础服务 238543768

有图有真相:

image
image
image
image
image
image

文章转载自 开源中国社区[https://www.oschina.net]

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
19小时前
|
安全 NoSQL MongoDB
XJ-Survey:这个让滴滴日均处理1.2亿次问卷请求的开源系统,今天终于公开了它的架构密码!
嗨,大家好,我是小华同学。今天为大家介绍一款由滴滴开源的高效调研系统——XJ-Survey。它功能强大,支持多类型数据采集、智能逻辑编排、精细权限管理和数据在线分析,适用于问卷、考试、测评等场景。采用 Vue3、NestJS 等先进技术栈,确保高性能与安全性。无论是企业还是个人,XJ-Survey 都是你不可错过的神器!项目地址:[https://github.com/didi/xiaoju-survey](https://github.com/didi/xiaoju-survey)
32 15
|
6天前
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 1 架构解读
PolarDB 是阿里云研发的云原生分布式数据库,基于 PostgreSQL 开源版本,旨在解决传统数据库在大规模数据和高并发场景下的性能和扩展性问题。其主要特点包括: 1. **存储计算分离架构**:通过将计算与存储分离,实现极致弹性、共享一份数据以降低成本、透明读写分离。 2. **HTAP 架构**:支持混合事务处理和分析处理(HTAP),能够在同一系统中高效执行 OLTP 和 OLAP 查询。 3. **优化的日志复制机制**:采用只复制元数据的方式减少网络传输量,优化页面回放和 DDL 锁回放过程。 4. **并行查询与索引创建**:引入 MPP 分布式执行引擎。
32 7
|
1月前
|
开发框架 前端开发 .NET
一个适用于 .NET 的开源整洁架构项目模板
一个适用于 .NET 的开源整洁架构项目模板
57 26
|
2月前
|
人工智能 自然语言处理
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
RWKV-7是RWKV系列的最新大模型架构版本,具有强大的上下文学习能力,超越了传统的attention和linear attention范式。本文详细介绍了RWKV-7的主要功能、技术原理及其在多语言处理、文本生成等领域的应用场景。
177 7
RWKV-7:RWKV系列开源最新的大模型架构,具有强大的上下文学习能力,超越传统的Attention范式
|
2月前
|
Linux API C#
基于 .NET 开发的多功能流媒体管理控制平台
基于 .NET 开发的多功能流媒体管理控制平台
52 9
|
3月前
|
消息中间件 监控 数据可视化
Apache Airflow 开源最顶级的分布式工作流平台
Apache Airflow 是一个用于创作、调度和监控工作流的平台,通过将工作流定义为代码,实现更好的可维护性和协作性。Airflow 使用有向无环图(DAG)定义任务,支持动态生成、扩展和优雅的管道设计。其丰富的命令行工具和用户界面使得任务管理和监控更加便捷。适用于静态和缓慢变化的工作流,常用于数据处理。
Apache Airflow 开源最顶级的分布式工作流平台
|
3月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
3月前
|
机器学习/深度学习 人工智能 Cloud Native
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台
在数字化时代,.NET 技术凭借其跨平台兼容性、丰富的类库和工具集以及卓越的性能与效率,成为软件开发的重要平台。本文深入解析 .NET 的核心优势,探讨其在企业级应用、Web 开发及移动应用等领域的应用案例,并展望未来在人工智能、云原生等方面的发展趋势。
55 3
|
3月前
|
敏捷开发 缓存 中间件
.NET技术的高效开发模式,涵盖面向对象编程、良好架构设计及高效代码编写与管理三大关键要素
本文深入探讨了.NET技术的高效开发模式,涵盖面向对象编程、良好架构设计及高效代码编写与管理三大关键要素,并通过企业级应用和Web应用开发的实践案例,展示了如何在实际项目中应用这些模式,旨在为开发者提供有益的参考和指导。
52 3
|
3月前
|
存储 设计模式 编解码
.NET 8.0 通用管理平台,支持模块化、WinForms 和 WPF
【11月更文挑战第5天】本文分析了.NET 8.0 通用管理平台在模块化、WinForms 和 WPF 方面的优势。模块化设计提升了系统的可维护性和可扩展性,提高了代码复用性;WinForms 提供了丰富的控件库和简单易用的开发模式,技术成熟稳定;WPF 支持强大的数据绑定和 MVVM 模式,具备丰富的图形和动画功能,以及灵活的布局系统。
107 2