日志服务器的那些坑

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志服务器的那些坑

/data/log/logger/logger.2014-11-18-21.log:2014-11-18 21:56:39.370 INFO [gameScheduler-1][LoggerManager.java:45] - 文件处理开始 num=69663

/data/log/logger/logger.2014-11-18-22.log:2014-11-18 22:19:33.281 INFO [gameScheduler-1][LoggerManager.java:58] - 文件处理完毕 num=69663 failed=0,exec=1373910.9 ms interval=19.722246 ms



这是历史以来执行最长的一次,



69663条日志,总共执行了23分钟

 

 

上报速度低于日志产生速度--> 多线程,修改调度时间频率

 

策划数据,有空格,回车导致URL串非法,

批量插库时连接没有释放

 

减少货币流和道具流的消耗

 

日志乱码问题,运维终端在初始化后,没有关闭。

 

 

infobright 当遇到有Emoji表情字符插入时,会卡住,不抛出异常,导致后续的日志无法再写入,通过show full processlist,会显示system lock的状态

加上对这些日志的过滤吧

// 判别是否包含Emoji表情
  private static boolean containsEmoji(String str) {
    int len = str.length();
    for (int i = 0; i < len; i++) {
      if (isEmojiCharacter(str.charAt(i))) {
        return true;
      }
    }
    return false;
  }
  private static boolean isEmojiCharacter(char codePoint) {
    return !((codePoint == 0x0) || (codePoint == 0x9) || (codePoint == 0xA) || (codePoint == 0xD) || ((codePoint >= 0x20) && (codePoint <= 0xD7FF))
        || ((codePoint >= 0xE000) && (codePoint <= 0xFFFD)) || ((codePoint >= 0x10000) && (codePoint <= 0x10FFFF)));
  }


 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5月前
|
监控 关系型数据库 MySQL
|
30天前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
41 1
|
30天前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
30 1
|
2月前
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
3月前
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
3月前
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
364 0
|
4月前
|
存储 XML Java
seata2.0服务器日志位置修改
这个过程要求您对Seata配置和Linux文件系统有基本的认识。调整配置文件时要非常细心,因为配置错误会直接影响Seata服务的运行。通过以上步骤,您可以有效地修改Seata服务器的日志位置,并确保日志文件按照您的需要被妥善地管理和存储。
138 3
|
4月前
|
监控
查看服务器/IIS日志、log、访问信息基本方法
除了手动查看,你也可以使用日志分析工具,如Log Parser、AWStats等,这些工具可以帮助你更方便地分析日志数据。
586 1
|
4月前
|
存储 弹性计算 运维
可观测性体系问题之ECS管控对其所有日志的管理如何解决
可观测性体系问题之ECS管控对其所有日志的管理如何解决
42 0
|
4月前
|
存储 弹性计算 运维
可观测性体系问题之ECS管控对日志数据的处理如何解决
可观测性体系问题之ECS管控对日志数据的处理如何解决
59 0