Redis——Redis与Log4Net完成了分布式日志记录

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一,思路           为了单独记录我们程序中各种异常,我们这样做:创建一个队列,当出现异常的时候,将异常放入到队列中,另外,我们在程序启动时,开启一个线程,用来从存放异常的队列中取得异常信息,进行写入文件。


一,思路


           为了单独记录我们程序中各种异常,我们这样做:创建一个队列,当出现异常的时候,将异常放入到队列中,另外,我们在程序启动时,开启一个线程,用来从存放异常的队列中取得异常信息,进行写入文件。


        模拟代码:


                自定义异常出现时候的处理类:


                      

 public class MyExceptionAttribute:System.Web.Mvc.HandleErrorAttribute
    {
        //存放异常的队列
        public static Queue<Exception> exceptionQueue = new Queue<Exception>();

        /*处理异常信息*/
        public override void OnException(System.Web.Mvc.ExceptionContext filterContext)
        {

            exceptionQueue.Enqueue(filterContext.Exception); //将异常信息入队
            filterContext.HttpContext.Response.Redirect("/error.html");//跳转到错误页
            base.OnException(filterContext);
        }
    }


           修改filterConfig中的方法(当出现异常时候,将异常交给我们的自定义类进行处理):


 public static void RegisterGlobalFilters(GlobalFilterCollection filters)
        {
           // filters.Add(new HandleErrorAttribute());
            filters.Add(new MyExceptionAttribute());
        }

        

     修改应用程序入口方法:


        

 protected void Application_Start()
        {
            AreaRegistration.RegisterAllAreas();

            WebApiConfig.Register(GlobalConfiguration.Configuration);
            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
            RouteConfig.RegisterRoutes(RouteTable.Routes);
            BundleConfig.RegisterBundles(BundleTable.Bundles);

            //通过线程池开启一个线程,然后不停地从队列中获取数据
            String logPath = Server.MapPath("/Log/");
            ThreadPool.QueueUserWorkItem(o => {
                while (true)
                {
                    try
                    {
                        if (MyExceptionAttribute.exceptionQueue.Count > 0)
                        {
                            Exception e=MyExceptionAttribute.exceptionQueue.Dequeue();//从队列中拿出数据
                            if (e != null)
                            {
                                //构建日志的完整路径
                                String fileName = logPath + DateTime.Now.ToString("yyyy-MM-dd")+".txt";

                                string errorMsg = e.ToString();
                                File.AppendAllText(fileName,errorMsg,Encoding.Default);//异常写入文件


                            }
                            else
                            {
                                Thread.Sleep(30);
                            }
                        }
                        else
                        {
                            Thread.Sleep(30);//避免cpu空转
                        }
                    }
                    catch(Exception e)
                    {
                        MyExceptionAttribute.exceptionQueue.Enqueue(e);
                    }
                   

                   
                }
            }, logPath);
        }
    }

二,使用redis做异常信息队列,使用log4net进行日志处理


   在大型网站中,我们将异常信息队列从应用程序服务器中分离开来,在这里,使用redis存放我们的异常信息,但产生异常信息之后,将异常信息交给我们的log4net处理。

     

      修改队列:


 public class MyExceptionAttribute:System.Web.Mvc.HandleErrorAttribute
    {
        //存放异常的队列
       // public static Queue<Exception> exceptionQueue = new Queue<Exception>();
        public static IRedisClientsManager clientManager = new PooledRedisClientManager(new String[]{"127.0.0.1:6379"});

        public static IRedisClient reidsClient = clientManager.GetClient();

        /*处理异常信息*/
        public override void OnException(System.Web.Mvc.ExceptionContext filterContext)
        {

            //exceptionQueue.Enqueue(filterContext.Exception); //将异常信息入队

            reidsClient.EnqueueItemOnList("exception", filterContext.Exception.ToString());//将异常信息存储到redis队列中
            filterContext.HttpContext.Response.Redirect("/error.html");//跳转到错误页
            base.OnException(filterContext);
        }
    }

   

        改用log4net处理错误信息:


      

 protected void Application_Start()
        {
            log4net.Config.XmlConfigurator.Configure();//获取log4net配置信息(具体配置在web.config中)

            AreaRegistration.RegisterAllAreas();

            WebApiConfig.Register(GlobalConfiguration.Configuration);
            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
            RouteConfig.RegisterRoutes(RouteTable.Routes);
            BundleConfig.RegisterBundles(BundleTable.Bundles);

            //通过线程池开启一个线程,然后不停地从队列中获取数据
            String logPath = Server.MapPath("/Log/");
            ThreadPool.QueueUserWorkItem(o => {
                while (true)
                {
                    try
                    {
                       // if (MyExceptionAttribute.exceptionQueue.Count > 0)
                        if (MyExceptionAttribute.reidsClient.GetListCount("exception") > 0)
                        {
                            //Exception e=MyExceptionAttribute.exceptionQueue.Dequeue();//从队列中拿出数据
                            String errorMsg = MyExceptionAttribute.reidsClient.DequeueItemFromList("exception"); //从redis中取出异常信息数据
                            if (errorMsg != null)
                            {
                                //构建日志的完整路径
                               // String fileName = logPath + DateTime.Now.ToString("yyyy-MM-dd")+".txt";

                               // string errorMsg = e.ToString();
                              //  File.AppendAllText(fileName, errorMsg, Encoding.Default);//异常写入文件

                                /*使用log4net进行写入错误信息*/
                                ILog logger = LogManager.GetLogger("appError");
                                logger.Error(errorMsg);//将异常信息写入log4net中



                            }
                            else
                            {
                                Thread.Sleep(30);
                            }
                        }
                        else
                        {
                            Thread.Sleep(30);//避免cpu空转
                        }
                    }
                    catch(Exception e)
                    {
                        MyExceptionAttribute.reidsClient.EnqueueItemOnList("exception", e.ToString());//将异常信息存储到redis队列中
                    }
                   

                   
                }
            }, logPath);
        }
    }

ps:log4net配置文件:


 <log4net>
    <!-- OFF, FATAL, ERROR, WARN, INFO, DEBUG, ALL -->
    <!-- Set root logger level to ERROR and its appenders -->
    <root>
      <level value="ALL"/>
      <appender-ref ref="SysAppender"/>
    </root>
    <!-- Print only messages of level DEBUG or above in the packages -->
    <logger name="WebLogger">
      <level value="DEBUG"/>
    </logger>
    <appender name="SysAppender"
type="log4net.Appender.RollingFileAppender,log4net" >
      <param name="File" value="App_Data/" />
      <param name="AppendToFile" value="true" />
      <param name="RollingStyle" value="Date" />
      <param name="DatePattern" value=""Logs_"yyyyMMdd".txt"" />
      <param name="StaticLogFileName" value="false" />
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
        <param name="Header" value="
----------------------header--------------------------
" />
        <param name="Footer" value="
----------------------footer--------------------------
" />
      </layout>
    </appender>
    <appender name="consoleApp" type="log4net.Appender.ConsoleAppender,log4net">
      <layout type="log4net.Layout.PatternLayout,log4net">
        <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
      </layout>
    </appender>
  </log4net>


处理节点配置:


 <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/>
      <!--Log4Net配置-->


   在网站正常使用中,我们的redis服务器一般是跟我们的应用服务器分离开的,这样我们的队列就不占用应用服务器的资源了,再扩展,我们的日志也可以单独从应用服务器剥离开来,做到服务器专用。

 







    

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
24天前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
3月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
103 2
基于Redis的高可用分布式锁——RedLock
|
1月前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
55 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
|
25天前
|
NoSQL Redis 数据库
计数器 分布式锁 redis实现
【10月更文挑战第5天】
44 1
|
1月前
|
存储 消息中间件 NoSQL
Redis 入门 - C#.NET Core客户端库六种选择
Redis 入门 - C#.NET Core客户端库六种选择
53 8
|
29天前
|
NoSQL 算法 关系型数据库
Redis分布式锁
【10月更文挑战第1天】分布式锁用于在多进程环境中保护共享资源,防止并发冲突。通常借助外部系统如Redis或Zookeeper实现。通过`SETNX`命令加锁,并设置过期时间防止死锁。为避免误删他人锁,加锁时附带唯一标识,解锁前验证。面对锁提前过期的问题,可使用守护线程自动续期。在Redis集群中,需考虑主从同步延迟导致的锁丢失问题,Redlock算法可提高锁的可靠性。
69 4
|
1月前
|
存储 缓存 NoSQL
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
54 4
|
1月前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
22 3
|
1月前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
53 3
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
41 1

热门文章

最新文章