.NET基于Eleasticsearch搭建日志系统实战演练(公开版)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一、需求背景介绍 1.1、需求描述 大家都知道C/S架构模式的客户端应用程序(比如:WinForm桌面应用、WPF、移动App应用程序、控制台应用程序、Windows服务等等)的日志记录都存储在本地客户端中,这样就导致有时候一旦客户端出现了的异常问题,为了快速地定位对应服务端出现的位置却极其的繁琐和不方便,就需要找到当时的客户端出现异常问题的日志快照记录。

一、需求背景介绍

1.1、需求描述

大家都知道C/S架构模式的客户端应用程序(比如:WinForm桌面应用、WPF、移动App应用程序、控制台应用程序、Windows服务等等)的日志记录都存储在本地客户端中,这样就导致有时候一旦客户端出现了的异常问题,为了快速地定位对应服务端出现的位置却极其的繁琐和不方便,就需要找到当时的客户端出现异常问题的日志快照记录。 所以说为了解决实时日志监控问题,ELK提供的一套的解决方案就应运而生了 。然而真实的现状往往比你现实的想象中的还有更糟糕,很有可能在我们的项目团队中会遇到一些下面的问题:

1)、 我们公司都是Windows服务器,没有专门 Linux 运维人员!

2)、. NET项目技术成员目前对Windows系统比较熟悉,对Linux系统不太熟悉。

3)、考虑时间成本短时间内不可能开发出来一套成熟的实时日志监控系统。

那么作为.NET技术的我们该如何快速的搭建中小型企业级日志实时监控系统,解决我们的日志实时监控痛点问题!

一位伟大的领袖说过这么一句话:自己动手,丰衣足食!那么新时代的赋予了我们年轻人的使命:撸起袖子加油干!

1.2、一句话总结今天我们要解决的问题是什么?

作为.NET技术的我们如何在Windows平台上快速的搭建中小型企业级日志实时监控系统!

ps:日志主要包括系统日志、应用程序日志和安全日志。本课程所说的“日志”,如果没有特别说明,即默认指的是应用程序日志!

废话不多说,直接上干货,我们不生产干货,我们只是干货的搬运工。

二、概念名称含义和解释

2.1、ELK介绍

 

2.2、ELK原理

 

2.3、为什么使用 ELK ?

 

三、实战项目在线演练和解读

3.1、在Windows上安装Elasticsearch和kibana

 

3.2、在Windows上安装Elasticsearch—Head插件。

 

3.3、在Windows上搭建Elasticsearch集群

 

3.4、如何将应用程序日志通过log4net推送到Eleasticsearch

 

3.5、如何将应用程序日志通过Nlog推送到Eleasticsearch

 

3.5、如何将应用程序日志通过NEST SKD推送到Eleasticsearch

 

3.6、聊一聊基于Eleasticsearch日志系统分布式架构的那点事

1)、两层日志平台架构设计

2)、三层日志平台架构设计

3)、WebApi服务应用程序如何接入实时日志监控平台系统。

四、总结

传统&新型的日志架构特点对比

3、结束语

五、源码在线解读和演示

 

 

 

 

作者:阿笨

      官方QQ一群(已满):422315558跟着阿笨一起玩NET

      官方QQ二群(加入):574187616跟着阿笨一起玩NET(二)

      个人讲师课堂主页:http://study.163.com/instructor/2544628.htm?share=2&shareId=2544628

      个人微信公众号课程主页:http://dwz.cn/ABenNET

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
26天前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
234 122
基于docker搭建监控系统&日志收集
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
4月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
214 1
|
3月前
|
前端开发 JavaScript 关系型数据库
使用 OpenAuth.Net 快速搭建 .NET 企业级权限工作流系统
使用 OpenAuth.Net 快速搭建 .NET 企业级权限工作流系统
103 0
|
15天前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
63 2
|
3月前
|
运维 安全 数据可视化
日志审查安排工具实战攻略:中小团队如何通过日志审查安排工具建立可控、安全的审查机制?
在审计敏感时代,日志审查安排工具成为安全运维与合规管理的关键利器。它实现审查任务的流程化、周期化与可视化,支持多系统协作、责任到人,确保“可控、可查、可追”的日志治理。工具如板栗看板、Asana、Monday 等提供任务调度、问题闭环与合规对接能力,助力企业构建高效、透明的日志审查体系,提升安全与合规水平。
|
5月前
|
数据采集 自然语言处理 Java
Playwright 多语言一体化——Python/Java/.NET 全栈采集实战
本文以反面教材形式,剖析了在使用 Playwright 爬取懂车帝车友圈问答数据时常见的配置错误(如未设置代理、Cookie 和 User-Agent),并提供了 Python、Java 和 .NET 三种语言的修复代码示例。通过错误示例 → 问题剖析 → 修复过程 → 总结教训的完整流程,帮助读者掌握如何正确配置爬虫代理及其它必要参数,避免 IP 封禁和反爬检测,实现高效数据采集与分析。
248 3
Playwright 多语言一体化——Python/Java/.NET 全栈采集实战
|
3月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
8月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
2563 70
Grafana Loki,轻量级日志系统
|
4月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。