Redis——Redis与Log4Net完成了分布式日志记录

简介: 一,思路           为了单独记录我们程序中各种异常,我们这样做:创建一个队列,当出现异常的时候,将异常放入到队列中,另外,我们在程序启动时,开启一个线程,用来从存放异常的队列中取得异常信息,进行写入文件。


一,思路


           为了单独记录我们程序中各种异常,我们这样做:创建一个队列,当出现异常的时候,将异常放入到队列中,另外,我们在程序启动时,开启一个线程,用来从存放异常的队列中取得异常信息,进行写入文件。


        模拟代码:


                自定义异常出现时候的处理类:


                      

 public class MyExceptionAttribute:System.Web.Mvc.HandleErrorAttribute
    {
        //存放异常的队列
        public static Queue<Exception> exceptionQueue = new Queue<Exception>();

        /*处理异常信息*/
        public override void OnException(System.Web.Mvc.ExceptionContext filterContext)
        {

            exceptionQueue.Enqueue(filterContext.Exception); //将异常信息入队
            filterContext.HttpContext.Response.Redirect("/error.html");//跳转到错误页
            base.OnException(filterContext);
        }
    }


           修改filterConfig中的方法(当出现异常时候,将异常交给我们的自定义类进行处理):


 public static void RegisterGlobalFilters(GlobalFilterCollection filters)
        {
           // filters.Add(new HandleErrorAttribute());
            filters.Add(new MyExceptionAttribute());
        }

        

     修改应用程序入口方法:


        

 protected void Application_Start()
        {
            AreaRegistration.RegisterAllAreas();

            WebApiConfig.Register(GlobalConfiguration.Configuration);
            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
            RouteConfig.RegisterRoutes(RouteTable.Routes);
            BundleConfig.RegisterBundles(BundleTable.Bundles);

            //通过线程池开启一个线程,然后不停地从队列中获取数据
            String logPath = Server.MapPath("/Log/");
            ThreadPool.QueueUserWorkItem(o => {
                while (true)
                {
                    try
                    {
                        if (MyExceptionAttribute.exceptionQueue.Count > 0)
                        {
                            Exception e=MyExceptionAttribute.exceptionQueue.Dequeue();//从队列中拿出数据
                            if (e != null)
                            {
                                //构建日志的完整路径
                                String fileName = logPath + DateTime.Now.ToString("yyyy-MM-dd")+".txt";

                                string errorMsg = e.ToString();
                                File.AppendAllText(fileName,errorMsg,Encoding.Default);//异常写入文件


                            }
                            else
                            {
                                Thread.Sleep(30);
                            }
                        }
                        else
                        {
                            Thread.Sleep(30);//避免cpu空转
                        }
                    }
                    catch(Exception e)
                    {
                        MyExceptionAttribute.exceptionQueue.Enqueue(e);
                    }
                   

                   
                }
            }, logPath);
        }
    }

二,使用redis做异常信息队列,使用log4net进行日志处理


   在大型网站中,我们将异常信息队列从应用程序服务器中分离开来,在这里,使用redis存放我们的异常信息,但产生异常信息之后,将异常信息交给我们的log4net处理。

     

      修改队列:


 public class MyExceptionAttribute:System.Web.Mvc.HandleErrorAttribute
    {
        //存放异常的队列
       // public static Queue<Exception> exceptionQueue = new Queue<Exception>();
        public static IRedisClientsManager clientManager = new PooledRedisClientManager(new String[]{"127.0.0.1:6379"});

        public static IRedisClient reidsClient = clientManager.GetClient();

        /*处理异常信息*/
        public override void OnException(System.Web.Mvc.ExceptionContext filterContext)
        {

            //exceptionQueue.Enqueue(filterContext.Exception); //将异常信息入队

            reidsClient.EnqueueItemOnList("exception", filterContext.Exception.ToString());//将异常信息存储到redis队列中
            filterContext.HttpContext.Response.Redirect("/error.html");//跳转到错误页
            base.OnException(filterContext);
        }
    }

   

        改用log4net处理错误信息:


      

 protected void Application_Start()
        {
            log4net.Config.XmlConfigurator.Configure();//获取log4net配置信息(具体配置在web.config中)

            AreaRegistration.RegisterAllAreas();

            WebApiConfig.Register(GlobalConfiguration.Configuration);
            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
            RouteConfig.RegisterRoutes(RouteTable.Routes);
            BundleConfig.RegisterBundles(BundleTable.Bundles);

            //通过线程池开启一个线程,然后不停地从队列中获取数据
            String logPath = Server.MapPath("/Log/");
            ThreadPool.QueueUserWorkItem(o => {
                while (true)
                {
                    try
                    {
                       // if (MyExceptionAttribute.exceptionQueue.Count > 0)
                        if (MyExceptionAttribute.reidsClient.GetListCount("exception") > 0)
                        {
                            //Exception e=MyExceptionAttribute.exceptionQueue.Dequeue();//从队列中拿出数据
                            String errorMsg = MyExceptionAttribute.reidsClient.DequeueItemFromList("exception"); //从redis中取出异常信息数据
                            if (errorMsg != null)
                            {
                                //构建日志的完整路径
                               // String fileName = logPath + DateTime.Now.ToString("yyyy-MM-dd")+".txt";

                               // string errorMsg = e.ToString();
                              //  File.AppendAllText(fileName, errorMsg, Encoding.Default);//异常写入文件

                                /*使用log4net进行写入错误信息*/
                                ILog logger = LogManager.GetLogger("appError");
                                logger.Error(errorMsg);//将异常信息写入log4net中



                            }
                            else
                            {
                                Thread.Sleep(30);
                            }
                        }
                        else
                        {
                            Thread.Sleep(30);//避免cpu空转
                        }
                    }
                    catch(Exception e)
                    {
                        MyExceptionAttribute.reidsClient.EnqueueItemOnList("exception", e.ToString());//将异常信息存储到redis队列中
                    }
                   

                   
                }
            }, logPath);
        }
    }

ps:log4net配置文件:


 <log4net>
    <!-- OFF, FATAL, ERROR, WARN, INFO, DEBUG, ALL -->
    <!-- Set root logger level to ERROR and its appenders -->
    <root>
      <level value="ALL"/>
      <appender-ref ref="SysAppender"/>
    </root>
    <!-- Print only messages of level DEBUG or above in the packages -->
    <logger name="WebLogger">
      <level value="DEBUG"/>
    </logger>
    <appender name="SysAppender"
type="log4net.Appender.RollingFileAppender,log4net" >
      <param name="File" value="App_Data/" />
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <param name="DatePattern" value=""Logs_"yyyyMMdd".txt"" />
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
        <param name="Header" value="
----------------------header--------------------------
" />
        <param name="Footer" value="
----------------------footer--------------------------
" />
      </layout>
    </appender>
    <appender name="consoleApp" type="log4net.Appender.ConsoleAppender,log4net">
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
      </layout>
    </appender>
  </log4net>


处理节点配置:


 <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/>
      <!--Log4Net配置-->


   在网站正常使用中,我们的redis服务器一般是跟我们的应用服务器分离开的,这样我们的队列就不占用应用服务器的资源了,再扩展,我们的日志也可以单独从应用服务器剥离开来,做到服务器专用。

 







    

目录
相关文章
|
10月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
706 2
|
10月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
785 6
|
11月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。
|
9月前
|
NoSQL Java 调度
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
分布式锁是分布式系统中用于同步多节点访问共享资源的机制,防止并发操作带来的冲突。本文介绍了基于Spring Boot和Redis实现分布式锁的技术方案,涵盖锁的获取与释放、Redis配置、服务调度及多实例运行等内容,通过Docker Compose搭建环境,验证了锁的有效性与互斥特性。
808 0
分布式锁与分布式锁使用 Redis 和 Spring Boot 进行调度锁(不带 ShedLock)
|
9月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
11月前
|
NoSQL Redis
Lua脚本协助Redis分布式锁实现命令的原子性
利用Lua脚本确保Redis操作的原子性是分布式锁安全性的关键所在,可以大幅减少由于网络分区、客户端故障等导致的锁无法正确释放的情况,从而在分布式系统中保证数据操作的安全性和一致性。在将这些概念应用于生产环境前,建议深入理解Redis事务与Lua脚本的工作原理以及分布式锁的可能问题和解决方案。
374 8
|
12月前
|
缓存 NoSQL 算法
高并发秒杀系统实战(Redis+Lua分布式锁防超卖与库存扣减优化)
秒杀系统面临瞬时高并发、资源竞争和数据一致性挑战。传统方案如数据库锁或应用层锁存在性能瓶颈或分布式问题,而基于Redis的分布式锁与Lua脚本原子操作成为高效解决方案。通过Redis的`SETNX`实现分布式锁,结合Lua脚本完成库存扣减,确保操作原子性并大幅提升性能(QPS从120提升至8,200)。此外,分段库存策略、多级限流及服务降级机制进一步优化系统稳定性。最佳实践包括分层防控、黄金扣减法则与容灾设计,强调根据业务特性灵活组合技术手段以应对高并发场景。
3359 7
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
607 9
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1248 55