日志服务自助排查问题

简介: 使用日志服务遇到什么困难?这里有本指南分享给大家

收集端错误

根据ilogtail.LOG中具体错误来判断

文件位置:/usr/local/ilogtail/ilogtail.LOG,用户需要关心的是ERROR/WARNNING级别日志。

常见错误

  1. 在日志中出现下列错误,表示gbk日志转码utf8错误,请确认日志文件是gbk编码

    ``` convert GBK to UTF8 fail, errno ```
    
  1. 日志切行错误,请查看日志行首正则表达式是否正确,另外保证单条日志大小在512KB以内。

    ``` no log lines parse success : please check log_begin_regex ```
    
    
  2. 行首正则表达式与日志内容不匹配。

    ``` regex_match in LogSplit fail, exception ```
    
  1. 正则解析日志错误,日志内容与正则解析表达式不匹配,请修改正则。

    ``` parse regex log fail```
    
  1. 丢弃历史数据,logtail在解析新增日志内容完成后,会检查当前的日志时间是否合法,并丢弃在当前系统时间5分钟前产生的日志数据。请减少内存中buffer的日志数据大小并尽快flush让日志落盘。

    
    ```scard history data ```
    
    
    
  2. 数据发送错误

    ``` send data to SLS fail : discard data ```
    
  3. 数据发送失败并丢弃数据,请关注该发送错误对应的error_code、error_message。logtail发送数据失败,会立即重试发送该请求,数据不丢失。
send data to SLS fail, write to buffer file and retry later ```

8. logtail发送数据失败,会将该日志数据写到本地磁盘文件(最多1GB,大小移出后FIFO覆盖最旧文件写),在接下来的24小时内为用户进行重试。

```send data fail, unknown excepiton, retry later```


9. quota超限导致数据无法写入,请提工单,申请调整quota。

```send data fail, errorCode: SLSWriteQuotaExceed```



10.  日志时间计算错误

```Parse Time Fail, exception```

11. 请检查time字段设置的次数是否正确,日期格式timeformat与日志内容是否匹配。

```extract time of first log line fail```

12. 计算日志的首行数据的日志时间出错,请检查time字段设置的次数是否正确,日期格式timeformat与日志内容是否匹配。

```parse apsara log time fail```

13. 飞天日志的时间格式错误,请检查是否使用正确的apsara logger。

```paser time for regex log fail```

14. 使用正则表达式解析的日志时间格式错误,请检查time字段设置的次数是否正确,日期格式timeformat与日志内容是否匹配。

``` discard error timeformat log```


15. 注册监控项超出限制,logtail最多使用操作系统的三千个目录,(logtail默认会递归注册监控目录),请缩小监控目录范围。

```failed to register dir, exceed the max allowed watch num```


16. 日志文件轮转过快,日志文件在短时间内多次发生轮转,logtail处理不及,可能会丢失部分已轮转的日志尾部数据。请尝试降低日志轮转频度。

```file rollback again in a short interval, stop read file```


17. 日志截断写错误,当日志截断写的时候,logtail发现文件签名(前1024字节)发生变化,会从头开始解析该日志文件。

```currentOffset little than lastReadOffset, file maybe truncated```


18. 配置错误,用户收集config配置的日志目录不存在,请检查应用日志目录、文件。

```logPath in config not exist```


19. 网络错误,请测试网络是否可以联通,logtail使用域名在/usr/local/ilogtail/ilogtail_config.json

```send data fail, error_code:SLSClientNetworkError errorMessage:Request operation failed. CURL_ERROR_CODE:6```


## 根据监控信息判断发生了什么错误

[通过logstore监控查看日志服务是否正常](https://help.aliyun.com/document_detail/sls/faq/logmonitor.html)

## 机器组机器心跳fail问题解决办法

[请参考](https://help.aliyun.com/document_detail/sls/faq/logtail.html)文档中的"为什么我的Logtail心跳状态不正常?"


## 预览能看到日志,无法查询日志

预览日志功能只提供查看20条日志,如果需要查询具体的日志,请先创建索引

## 多久能看到写入的数据

使用sdk写入的数据,可以立刻通过SDK批量消费,30s后可以通过关键字查询。

使用logtail写入的数据,3s后可以通过SDK批量消费,30s后可以通过关键字查询。
  
  
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
6月前
|
Dubbo Java 应用服务中间件
项目中引进这玩意,排查日志又快又准
随着微服务盛行,很多公司都把系统按照业务边界拆成了很多微服务,在排错查日志的时候,因为业务链路贯穿着很多微服务节点,导致定位某个请求的日志以及上下游业务的日志会变得有些困难。
|
7月前
|
运维 监控 安全
应急实战 | 记一次日志缺失的挖矿排查
应急实战 | 记一次日志缺失的挖矿排查
114 0
|
9月前
FeignClient打印请求失败的日志,打印所有feignCliet接口请求失败的错误日志,方便排查原因
FeignClient打印请求失败的日志,打印所有feignCliet接口请求失败的错误日志,方便排查原因
76 0
|
11月前
|
监控 关系型数据库 MySQL
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
418 0
Docker 容器启动失败日志分析方法,启动sonic容器实例simple时未报错运行一会又停止的问题排查实例演示
|
7月前
|
Web App开发 运维 Java
如何基于mPaaS的闪退日志进行闪退排查
目前 mPaas Android是使用的是Crash SDK对闪退进行的处理,CrashSDK 是 Android 平台上一款功能强大的崩溃日志收集 SDK,有着极高的崩溃收集率和完整、全面的崩溃日志信息,生成的日志内容非常利于问题的跟进和解决。在我们的日常运维中,经常遇到一些闪退,无法直接从闪退堆栈看到原因,尤其是一些非Java的Native的闪退,这里分享下在mPaas框架下怎么使用Crash SDK对闪退进行分析。
205 0
|
4月前
日志 问题排查
日志 问题排查
18 1
|
9月前
|
关系型数据库 MySQL 数据库
项目实战典型案例24——xxljob控制台不打印日志排查
项目实战典型案例24——xxljob控制台不打印日志排查
179 0
|
9月前
|
存储 Java 关系型数据库
【项目实战典型案例】24.xxljob控制台不打印日志排查
【项目实战典型案例】24.xxljob控制台不打印日志排查
|
9月前
|
前端开发 关系型数据库 MySQL
案例24——xxljob控制台不打印日志排查
案例24——xxljob控制台不打印日志排查
|
9月前
|
存储 Java 关系型数据库
28个案例问题分析---24---xxljob控制台不打印日志排查--xxljob问题
28个案例问题分析---24---xxljob控制台不打印日志排查--xxljob问题
192 0

热门文章

最新文章