logstash处理时区问题

简介: logstash处理时区问题

公司线上日志是通过logstash接收并上传的,使用版本是logstash2.3,发现@timestamp经常少8个小时;

处理逻辑如下,无需修改插件源码

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]#message在实际应用中修改为自己的字段

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"

10

}

11

ruby {

12

code =>"event['@timestamp']= event['timestamp']"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}

复制

另外在5.x版本logstash配置有不同

1

input { stdin {} }

2

output { stdout { codec => rubydebug } }

3

filter {

4

date {

5

match => ["message","UNIX_MS"]

6

target =>"@timestamp"

7

}

8

ruby {

9

code =>"event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"

10

}

11

ruby {

12

code =>"event.set('@timestamp',event.get('timestamp'))"

13

}

14

mutate {

15

remove_field => ["timestamp"]

16

}

17

}



测试方法

echo'1504744911000'| ./logstash -f ~/test.conf

目录
相关文章
|
消息中间件 存储 编解码
『Logstash』Logstash配置文件详解
📣读完这篇文章里你能收获到 - Logstash配置文件详解
1335 0
『Logstash』Logstash配置文件详解
|
1天前
Elasticsearch自定义时间格式
Elasticsearch自定义时间格式
5 0
|
1月前
|
存储 NoSQL JavaScript
mongodb时间处理,时区处理
mongodb时间处理,时区处理
151 2
|
1月前
|
存储 应用服务中间件 nginx
nginx日志定时切割 按年月日
nginx日志定时切割 按年月日
30 0
|
10月前
|
关系型数据库 MySQL Java
TimeZone-datetime在JVM时区和MySQL Session时区的转换
TimeZone-datetime在JVM时区和MySQL Session时区的转换
135 0
|
jenkins 持续交付 Linux
jenkins 时区设置
背景 直接搭建好jenkins没有留意时间这块,执行job的时候发现,执行时间和服务器时间不对,需要设置时区 步骤 找到jenkins的启动配置,centos在: /etc/sysconfig/jenkins 修改如下: JENKINS_JAVA_OPTIONS="-Djava.
1856 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
296 0
五分钟带你玩转Elasticsearch(十五)logstash中@timestamp时区早8个小时解决方案
|
Java 关系型数据库
Logstash 安装
https://www.elastic.co/cn/downloads/logstash官网一、下载logstash[root@jiaxin-ceshi ~]# cd /usr/local/src/[root@jiaxin-ceshi src]# wget https://artifacts.
8979 0
|
编解码 消息中间件 Kafka
filebeat-kafka-logstash-elasticsearch日志收集[中文时区问题、自己创建type类index]
logstash配置文件如下: 点击(此处)折叠或打开 input{     kafka{         bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.
2357 0
|
应用服务中间件 nginx
Nginx修改日志时间格式
通过修改nginx源码来改变日志输出时间格式
2197 0