MSN Direct 日志系统浅析

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

对一个复杂的需要24小时连续运行的系统来说,日志系统必不可少,它为系统调试、错误定位提供最有力的支持。MSN Direct就是一个这样的系统,不仅24小时连续运行,还会不断地从不同的Web Server获取诸如交通、天气、新闻、股价等信息,并把获得数据进一步处理后,存入到数据库,最后MSN Direct调度程序再根据不同的策略从数据库提取数据,并把它们通过广播转发出去,以上任一个环节出问题,就会导致信息发送失败,而详尽的日志文件便能为此类问题的定位提供第一手信息,其重要性不言而喻。

MSN Direct输出的信息分为5类:成功(Success)、错误(Error)、警告(Warning)、信息(Info)、调试(Debug);

相关示例代码如下(相关接口函数我进行了调整和简化,去掉了EventCode参数):

private void btnTest_Click(object sender, EventArgs e)

{

    Logger.Success("Success");

    try

    {

        int a = 10,b=0;

        a /=  b;

    }

    catch (Exception ee)

    {

        Logger.Error(ee, "error");

        Logger.Error(ee);

        Logger.Warning(ee, "Warning");

        Logger.Warning(ee);

        Logger.Warning("Warning1");

    }

    Logger.Info("info");

    Logger.Debug("Debug");

}

其输出方式也有4种之多,这4种方式分别为:

1、VS2005/VS2008 输出对话框。

 

   

2、控制台信息输出

 

3、系统事件输出(可通过事件查看器浏览)

 

4、log文件输出

MSN Direct的日志系统,每小时便输出一个文件(因为对MSN Direct系统来说,一小时便能产生近10M数据),并且可设定日志文件保存的天数(默认2天),为了方便查阅我编写了一个日志浏览器(参见上图),不仅可分类查看,还可以进行关键字搜索。

 

在开发这个日志浏览器过程中,有一个技术问题困扰了我一段时间。对MSN Direct的日志系统,有两种写日志文件方式,一是文件句柄一直打开(直到一小时结束换另一个日志文件为止),二是输出一条便即时关闭,写下条时再打开。由于MSN Direct日志信息量巨大,所以为了优化性能选择了第一种方式。这就有一个问题,日志浏览器只能打开以前的日志进行浏览,而对当前的日志却无法打开,程序会提示你,该文件已被打开之类云云。你试着用其它文档编辑器去打开,你会发现大多数这类程序都无法打开,目前就我所知,WinHex和记事本程序可以(没有想到记事本程序还有这么强的的一面)。

从网上搜索“打开已打开文档”(也可以称为文件共享访问,不过有点特殊的是,前提是该文件已被独占打开了),未发现有价值的文章。当然也有釜底抽薪的做法,就是直接读取磁盘,对FAT32的文件系统来说,技术上我还可以实现,但是对NTFS格式的磁盘我就捉襟见肘了。

本打算深入研究一下记事本到底调用了什么API,后来囿于时间关系,所以采取了曲线救国的方式实现了该功能。

思路:先用记事本打开,然后从记事本获取信息,最后关闭记事本。不过很不爽的是,采用各种方法记事本的窗体还是无法隐藏(估计是初始打开的文件太大了)。

相关代码如下:

    #region 用记事本打开已打开的文本文件

   


 
 
  1. System.Diagnostics.Process Proc;  
  2.  
  3.     try 
  4.  
  5.     {  
  6.  
  7.         // 启动记事本  
  8.  
  9.         Proc = new System.Diagnostics.Process();                            
  10.  
  11.         Proc.StartInfo.FileName = "notepad.exe";  
  12.  
  13.         Proc.StartInfo.Arguments = FileName;  
  14.  
  15.         Proc.StartInfo.UseShellExecute = false;                                      
  16.  
  17.         //Proc.StartInfo.RedirectStandardInput = true;  
  18.  
  19.         //Proc.StartInfo.RedirectStandardOutput = true;      
  20.  
  21.         Proc.StartInfo.CreateNoWindow = true;  
  22.  
  23.         Proc.StartInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden;  
  24.  
  25.         Proc.Start();        
  26.  
  27.     }  
  28.  
  29.     catch 
  30.  
  31.     {  
  32.  
  33.         Proc = null;  
  34.  
  35.     }  
  36.  
  37.     #endregion  
  38.  
  39.     #region 从记事本获取数据  
  40.  
  41.     if (Proc != null)  
  42.  
  43.     {  
  44.  
  45.         // 调用 API, 传递数据  
  46.  
  47.         while (Proc.MainWindowHandle == IntPtr.Zero)  
  48.  
  49.         {  
  50.  
  51.             Proc.Refresh();  
  52.  
  53.         }  
  54.  
  55.         ShowWindow(Proc.MainWindowHandle, 0);                          
  56.  
  57.         IntPtr vHandle = FindWindowEx(Proc.MainWindowHandle, IntPtr.Zero, "Edit"null);  
  58.  
  59.         const int WM_GETTEXTLENGTH = 0xE;  
  60.  
  61.         int intSize = SendMessageInt(vHandle, WM_GETTEXTLENGTH, 0, 0);  
  62.  
  63.         StringBuilder sb = new StringBuilder(intSize);  
  64.  
  65.         const int WM_GETTEXT = 0xD;  
  66.  
  67.         SendMessageStr(vHandle, WM_GETTEXT, intSize, sb);  
  68.  
  69.         Proc.CloseMainWindow();  
  70.  
  71.         //Proc.Kill();  
  72.  
  73.         byte[] bytData = System.Text.Encoding.Default.GetBytes(sb.ToString());    
  74.  
  75.         stream = new MemoryStream(bytData);          
  76.  
  77.     }  
  78.  
  79. #endregion  
  80.  

如果哪个网友有更好的解决方案,忘不吝告知,谢谢!

MSN Direct日志系统可通过下面4个属性(我新添加),以决定以哪种方式输出日志信息。

  


 
 
  1. Logger.TraceLogEnable = true;  
  2.  
  3.   Logger.ConsoleLogEnable = true;  
  4.  
  5.   Logger.EventLogEnable = true;  
  6.  
  7. gger.FileLogEnable = true;      

当然以上对MSN Direct日志系统介绍,仅仅是皮毛,诸如XML配置、二进制序列化等等技术细节只有留待日后有时间再细说了。

 

 






本文转自yefanqiu51CTO博客,原文链接:http://blog.51cto.com/yfsoft/324066,如需转载请自行联系原作者

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
3月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
194 1
|
5天前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
38 2
|
2月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
7月前
|
存储 前端开发 数据可视化
Grafana Loki,轻量级日志系统
本文介绍了基于Grafana、Loki和Alloy构建的轻量级日志系统。Loki是一个由Grafana Labs开发的日志聚合系统,具备高可用性和多租户支持,专注于日志而非指标,通过标签索引而非内容索引实现高效存储。Alloy则是用于收集和转发日志至Loki的强大工具。文章详细描述了系统的架构、组件及其工作流程,并提供了快速搭建指南,包括准备步骤、部署命令及验证方法。此外,还展示了如何使用Grafana查看日志,以及一些基本的LogQL查询示例。最后,作者探讨了Loki架构的独特之处,提出了“巨型单体模块化”的概念,即一个应用既可单体部署也可分布式部署,整体协同实现全部功能。
2464 70
Grafana Loki,轻量级日志系统
|
6月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
263 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
6月前
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
112 10
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
253 0
|
8月前
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
541 8
|
9月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
323 2