日志服务器设计

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:
+关注继续查看

日志服务器设计(草稿)

 

我的想方式实现一个Log服务器,然后把所有日志推向这个服务器。

 

同时兼容现有的

 

  1. rsyslog
  2. log4J, log4cpp...
可以通过TCP/UDP/和管道,向日志服务器抛日志。

日志服务器,采用多线程处理,然后放入列队。另一个进程从列队取日志,然后进行过滤,通过特征库匹配。
例如: 放行,抛弃,报警(通过email和手机短信)

放行数据将通过存储引擎,进行日志保存,可以进入数据库,文件。如果是文件通过gzip管道流,在做日志切割。


客户端

客户端是一个控制台可以实时看到列队中的最新信息,并滚动显示。与tail -f 原理类似,同时可以通过正则筛选数据。

还可以生成报表。等等。。

请看下图,先写到这里。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
8天前
|
数据库
web端分布式日志记录
web端分布式日志记录
|
24天前
|
运维 调度
日志服务器的那些坑
日志服务器的那些坑
10 0
|
1月前
|
存储 JSON 监控
日志记录和分析:ELK堆栈在内部局域网监控软件中的应用
在现代信息技术领域,监控和分析内部局域网的性能和运行状况对于确保系统的可靠性和高效性至关重要。为了实现这一目标,开发了一种基于ELK堆栈的解决方案,它利用强大的日志记录和分析工具,帮助监控人员实时追踪和解决问题。本文将介绍ELK堆栈的应用,以及如何自动提交监控到的数据到指定网站。
86 1
|
存储 监控 数据可视化
使用ELK收集网络设备日志的案例
使用ELK收集网络设备日志的案例
使用ELK收集网络设备日志的案例
|
弹性计算 固态存储 Java
【最佳实践】简单配置,实现Filebeat多行日志传送
在解决应用程序问题时,多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。
7128 0
【最佳实践】简单配置,实现Filebeat多行日志传送
使用rsyslog采集客户端日志
rsyslog可以作为ELK最前端的日志收集,系统自带且性能较好
533 0
|
存储 网络协议 文件存储
推荐文章
更多