logstash处理时区问题

简介: logstash处理时区问题

公司线上日志是通过logstash接收并上传的,使用版本是logstash2.3,发现@timestamp经常少8个小时;

处理逻辑如下,无需修改插件源码

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]#message在实际应用中修改为自己的字段

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"

10

}

11

ruby {

12

code =>"event['@timestamp']= event['timestamp']"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}

复制

另外在5.x版本logstash配置有不同

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"

10

}

11

ruby {

12

code =>"event.set('@timestamp',event.get('timestamp'))"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}



测试方法

echo'1504744911000'| ./logstash -f ~/test.conf

目录
相关文章
|
存储 数据采集 安全
通过filebeat、logstash、rsyslog采集nginx日志的几种方式
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。
1378 0
|
Prometheus Kubernetes 监控
云原生|kubernetes |使用Prometheus监控k8s cAdvisor篇(进阶篇--- 一)(centos操作系统)
云原生|kubernetes |使用Prometheus监控k8s cAdvisor篇(进阶篇--- 一)(centos操作系统)
3860 0
|
10月前
|
缓存 监控 Java
SpringBoot @Scheduled 注解详解
使用`@Scheduled`注解实现方法周期性执行,支持固定间隔、延迟或Cron表达式触发,基于Spring Task,适用于日志清理、数据同步等定时任务场景。需启用`@EnableScheduling`,注意线程阻塞与分布式重复问题,推荐结合`@Async`异步处理,提升任务调度效率。
1489 128
|
7月前
|
监控 前端开发 Java
Spring Boot 统一异常处理与全局响应增强
本文介绍如何在Spring Boot中实现全局异常处理,通过`@RestControllerAdvice`和自定义`BusinessException`统一拦截异常,结合`JsonResult`标准化响应格式,避免信息泄露,提升前后端协作效率与系统健壮性。
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
1645 3
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
存储 SQL Linux
ClickHouse(03)ClickHouse怎么安装和部署
本文会介绍如何安装和部署ClickHouse,官方推荐的几种安装模式,以及安装之后如何启动,ClickHouse集群如何配置等。
3035 1
|
编解码 Unix 应用服务中间件
ELK技术栈 - logstash学习笔记(五)
ELK技术栈 - logstash学习笔记(五)
320 0
|
JSON 数据格式
FileBeat替换@timestamp的四种方法
FileBeat替换@timestamp的四种方法
1641 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
610 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案