logstash处理时区问题

简介: logstash处理时区问题

公司线上日志是通过logstash接收并上传的,使用版本是logstash2.3,发现@timestamp经常少8个小时;

处理逻辑如下,无需修改插件源码

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]#message在实际应用中修改为自己的字段

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"

10

}

11

ruby {

12

code =>"event['@timestamp']= event['timestamp']"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}

复制

另外在5.x版本logstash配置有不同

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"

10

}

11

ruby {

12

code =>"event.set('@timestamp',event.get('timestamp'))"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}



测试方法

echo'1504744911000'| ./logstash -f ~/test.conf

目录
相关文章
|
Oracle Java 关系型数据库
SpringBoot整合ELK做日志(超完整)(上)
SpringBoot整合ELK做日志(超完整)(上)
569 0
|
Ubuntu 开发工具
Ubuntu更换阿里云软件源
Ubuntu更换阿里云软件源
142871 0
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
监控 Java Shell
链路跟踪-SkyWalking系列(一)
链路跟踪-SkyWalking系列(一)
2674 2
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
1130 3
|
Linux 开发工具
Linux yum 使用时提示 获取 GPG 密钥失败Couldn‘t open file RPM-GPG-KEY-EPEL-7
Linux yum 使用时提示 获取 GPG 密钥失败Couldn‘t open file RPM-GPG-KEY-EPEL-7
418 2
|
SQL Java 数据库连接
【Java】已解决java.sql.SQLException异常
【Java】已解决java.sql.SQLException异常
2716 0
|
SQL 机器学习/深度学习 XML
mybatis-plus分页查询详解
mybatis-plus分页查询详解
10791 0
mybatis-plus分页查询详解
|
JSON 数据格式
FileBeat替换@timestamp的四种方法
FileBeat替换@timestamp的四种方法
1311 0
|
存储 消息中间件 Kafka
logstash简明实用教程
Logstash 是开源的服务器端**数据处理管道**,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。 官方介绍:Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景。 Logstash 能够动态地采集、转换和传输数
970 0
logstash简明实用教程